{"id":1163,"date":"2025-12-12T08:35:56","date_gmt":"2025-12-12T01:35:56","guid":{"rendered":"https:\/\/achmadfarid.com\/?p=1163"},"modified":"2025-12-12T08:35:56","modified_gmt":"2025-12-12T01:35:56","slug":"apa-itu-robots-txt","status":"publish","type":"post","link":"https:\/\/achmadfarid.com\/en\/apa-itu-robots-txt\/","title":{"rendered":"Apa Itu Robots.txt? Panduan Lengkap untuk Pemula"},"content":{"rendered":"<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Setiap pemilik website ingin situsnya mudah ditemukan Google, tapi tahukah Anda ada halaman yang justru sebaiknya &#8220;disembunyikan&#8221; dari bot mesin pencari? Di sinilah peran krusial file robots.txt. Sederhananya,\u00a0<strong>apa itu robot.txt?<\/strong>\u00a0Ini adalah file teks yang memberikan instruksi kepada bot mesin pencari tentang halaman mana yang boleh dan tidak boleh mereka kunjungi. Banyak pemula yang salah mengonfigurasi file ini, yang berakibat fatal seperti seluruh website tidak terindeks atau halaman penting terlewatkan. Artikel ini adalah panduan lengkap dari A-Z, menjelaskan apa itu robots.txt, fungsinya, cara membuat, hingga contoh dan kesalahan umum yang harus dihindari agar optimasi SEO Anda maksimal.<\/p>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Apa Itu Robots.txt? Definisi Sederhana &amp; Fungsinya<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Robots.txt adalah sebuah file teks sederhana yang bertindak seperti &#8220;pemandu lalu lintas&#8221; atau &#8220;penjaga gerbang&#8221; untuk bot mesin pencari (dikenal juga sebagai\u00a0<em>crawler<\/em>\u00a0atau\u00a0<em>spider<\/em>).<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Fungsi utamanya:<\/strong>\u00a0Memberi instruksi kepada bot (seperti <a href=\"https:\/\/achmadfarid.com\/en\/cara-kerja-googlebot\/\">Googlebot<\/a>) tentang halaman atau direktori mana di website Anda yang boleh mereka kunjungi (<em>crawl<\/em>) dan mana yang tidak boleh. Ini bukan tentang keamanan, melainkan tentang efisiensi perayapan.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Lokasi file:<\/strong>\u00a0File ini wajib dan selalu berada di direktori\u00a0<em>root<\/em>\u00a0(utama) sebuah website. Anda bisa melihat file ini pada website manapun dengan mengetikkan\u00a0<code>domainanda.com\/robots.txt<\/code>\u00a0di browser.<\/li>\n<\/ul>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Mengapa Robots.txt Sangat Penting untuk Website &amp; SEO?<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Penggunaan file robots.txt yang benar adalah salah satu fondasi\u00a0<em>technical SEO<\/em>\u00a0yang sehat. Mengabaikannya sama saja dengan membiarkan bot &#8220;tersesat&#8221; di website Anda. Berikut adalah empat alasan utama mengapa robots.txt sangat krusial.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>1. Mengoptimalkan\u00a0<em>Crawl Budget<\/em><\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><em>Crawl budget<\/em>\u00a0adalah alokasi waktu dan sumber daya yang diberikan mesin pencari seperti Google untuk merayapi sebuah situs. Untuk situs besar dengan ribuan halaman,\u00a0<em>crawl budget<\/em>\u00a0sangat berharga. Robots.txt membantu mengarahkan bot untuk fokus merayapi halaman-halaman terpenting (seperti halaman produk, artikel blog, atau layanan) dan tidak membuang-buang waktu pada halaman yang tidak relevan atau tidak penting, contohnya halaman hasil pencarian internal, halaman admin, atau URL dengan parameter yang tidak perlu. Dengan begitu, halaman-halaman penting Anda lebih cepat terindeks.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>2. Mencegah Isu Konten Duplikat (<em>Duplicate Content<\/em>)<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Konten duplikat adalah salah satu masalah SEO yang sering terjadi dan dapat membingungkan mesin pencari, sehingga menurunkan peringkat halaman Anda. Beberapa contoh halaman yang berpotensi duplikat meliputi:<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Versi\u00a0<code>www<\/code>\u00a0dan\u00a0<code>non-www<\/code>\u00a0dari sebuah halaman.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">URL dengan parameter (misal:\u00a0<code>domain.com\/produk?sort=price<\/code>).<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Versi halaman yang siap cetak (<em>printable version<\/em>).<\/li>\n<\/ul>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Dengan menggunakan perintah\u00a0<code>Disallow<\/code>\u00a0pada versi duplikat, Anda membantu mesin pencari untuk fokus pada satu URL utama (URL kanonis), sehingga memperkuat otoritas halaman tersebut.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>3. Mencegah Pengindeksan Halaman Non-Publik<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Tidak semua halaman di website Anda ditujukan untuk konsumsi publik atau perlu muncul di hasil pencarian Google. Contoh halaman non-publik yang sebaiknya diblokir dari perayapan adalah:<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Halaman login pengguna atau admin (<code>\/wp-admin\/<\/code>\u00a0pada WordPress).<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Halaman\u00a0<em>staging<\/em>,\u00a0<em>testing<\/em>, atau development.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Halaman &#8220;Terima Kasih&#8221; setelah pengguna mengisi form.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">File internal seperti PDF atau dokumen yang tidak relevan.<\/li>\n<\/ul>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Penting:<\/strong>\u00a0Perlu diingat, robots.txt BUKAN untuk tujuan keamanan. File ini bersifat publik dan hanya memberikan instruksi. Halaman yang Anda blokir masih bisa diakses jika seseorang mengetahui URL-nya secara langsung.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>4. Meringankan Beban Server<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Setiap kali bot merayapi situs Anda, ia menggunakan sumber daya server. Pada situs web yang sangat besar atau saat banyak bot (dari Google, Bing, Ahrefs, dll.) merayapi secara bersamaan, aktivitas ini dapat membebani server dan memperlambat kecepatan website bagi pengunjung. Robots.txt membantu mengatur &#8220;lalu lintas&#8221; bot ini, memastikan performa situs tetap optimal.<\/p>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Memahami Cara Kerja Robots.txt (Proses 4 Langkah)<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Proses bagaimana bot mesin pencari berinteraksi dengan file robots.txt sangatlah sistematis. Berikut adalah 4 langkah sederhana yang terjadi setiap kali bot mengunjungi situs Anda:<\/p>\n<ol class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Bot Tiba di Website:<\/strong>\u00a0Langkah pertama yang selalu dilakukan bot mesin pencari saat tiba di sebuah domain adalah mencari file\u00a0<code>namadomain.com\/robots.txt<\/code>.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Membaca Instruksi:<\/strong>\u00a0Jika file tersebut ditemukan, bot akan membacanya baris per baris, dari atas ke bawah, untuk memahami aturan yang telah ditetapkan. Jika tidak ditemukan, bot akan mengasumsikan bahwa semua halaman boleh dirayapi.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Mematuhi Aturan:<\/strong>\u00a0Bot kemudian akan mencocokkan URL yang akan dirayapinya dengan aturan\u00a0<code>Disallow<\/code>\u00a0atau\u00a0<code>Allow<\/code>\u00a0yang ada di dalam file. Bot yang &#8220;baik&#8221; (seperti Googlebot) akan selalu mematuhi aturan ini.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Memulai atau Mengabaikan Perayapan:<\/strong>\u00a0Berdasarkan aturan yang dibaca, bot akan memutuskan untuk melanjutkan perayapan ke URL yang diizinkan dan melewati (mengabaikan) semua URL atau direktori yang dilarang.<\/li>\n<\/ol>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Sintaks dan Perintah Penting dalam File Robots.txt<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">File robots.txt menggunakan beberapa perintah sederhana. Memahaminya adalah kunci untuk membuat konfigurasi yang benar.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong><code>User-agent<\/code><\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Perintah ini berfungsi untuk menentukan bot mesin pencari mana yang dituju oleh aturan di bawahnya. Anda bisa menargetkan bot spesifik atau semua bot sekaligus.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Untuk semua bot:<\/strong>\n<pre><code>User-agent: *\r\n<\/code><\/pre>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Hanya untuk bot Google:<\/strong>\n<pre><code>User-agent: Googlebot\r\n<\/code><\/pre>\n<\/li>\n<\/ul>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong><code>Disallow<\/code><\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Ini adalah perintah untuk melarang bot mengakses direktori atau halaman tertentu. Jika Anda tidak mengisi apapun setelah\u00a0<code>Disallow:<\/code>, artinya tidak ada yang dilarang.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Memblokir seluruh direktori\u00a0<code>wp-admin<\/code>:<\/strong>\n<pre><code>Disallow: \/wp-admin\/\r\n<\/code><\/pre>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Memblokir satu halaman spesifik:<\/strong>\n<pre><code>Disallow: \/halaman-rahasia.html\r\n<\/code><\/pre>\n<\/li>\n<\/ul>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong><code>Allow<\/code><\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Perintah ini berfungsi untuk memberi izin akses. Biasanya digunakan sebagai pengecualian untuk aturan\u00a0<code>Disallow<\/code>\u00a0yang lebih luas. Ini sangat berguna jika Anda ingin memblokir seluruh folder tetapi mengizinkan akses ke satu file di dalamnya.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Contoh:<\/strong>\u00a0Memblokir semua file di dalam folder\u00a0<code>\/media\/<\/code>, tetapi mengizinkan bot mengakses file\u00a0<code>penting.jpg<\/code>.\n<pre><code>User-agent: *\r\nDisallow: \/media\/\r\nAllow: \/media\/penting.jpg\r\n<\/code><\/pre>\n<\/li>\n<\/ul>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong><code>Sitemap<\/code><\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Perintah ini sangat direkomendasikan. Fungsinya adalah untuk menunjukkan lokasi file\u00a0<code>sitemap.xml<\/code>\u00a0Anda, yang berisi daftar semua halaman penting di situs Anda. Ini membantu bot menemukan konten Anda dengan lebih efisien.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Contoh:<\/strong>\n<pre><code>Sitemap: https:\/\/www.domainanda.com\/sitemap.xml\r\n<\/code><\/pre>\n<\/li>\n<\/ul>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Wildcard (<code>*<\/code>\u00a0dan\u00a0<code>$<\/code>)<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Anda bisa menggunakan karakter khusus untuk membuat aturan yang lebih fleksibel dan spesifik.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><code>*<\/code>\u00a0(bintang): Berfungsi sebagai &#8220;semua karakter&#8221; atau placeholder.<\/p>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><code>$<\/code>\u00a0(dolar): Berfungsi untuk menandai &#8220;akhir dari URL&#8221;.<\/p>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Contoh:<\/strong>\u00a0Memblokir semua file PDF di seluruh situs Anda.<\/p>\n<pre><code>Disallow: \/*.pdf$\r\n<\/code><\/pre>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Aturan ini akan memblokir\u00a0<code>\/dokumen.pdf<\/code>\u00a0tapi tidak akan memblokir\u00a0<code>\/dokumen.pdf-lainnya<\/code>.<\/p>\n<\/li>\n<\/ul>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Panduan Cara Membuat dan Setting Robots.txt (Step-by-Step)<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Ada beberapa cara untuk membuat dan mengelola file robots.txt, dari yang manual hingga menggunakan plugin.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Metode 1: Membuat File Secara Manual (Untuk Semua Platform)<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Ini adalah cara paling dasar dan universal.<\/p>\n<ol class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Buka editor teks sederhana seperti Notepad (di Windows) atau TextEdit (di Mac).<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Tulis aturan Anda. Sebagai permulaan, Anda bisa menggunakan template dasar ini:\n<pre><code>User-agent: *\r\nDisallow: \/wp-admin\/\r\nAllow: \/wp-admin\/admin-ajax.php\r\n\r\nSitemap: https:\/\/www.domainanda.com\/sitemap.xml\r\n<\/code><\/pre>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Simpan file dengan nama\u00a0<strong>persis<\/strong>\u00a0<code>robots.txt<\/code>. Pastikan formatnya adalah\u00a0<code>.txt<\/code>.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Unggah file ini ke direktori\u00a0<em>root<\/em>\u00a0website Anda. Biasanya ini adalah folder\u00a0<code>public_html<\/code>. Anda bisa melakukannya melalui File Manager di cPanel atau menggunakan klien FTP seperti FileZilla.<\/li>\n<\/ol>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Metode 2: Menggunakan Plugin SEO di WordPress<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Jika Anda menggunakan WordPress, cara ini jauh lebih mudah dan aman.<\/p>\n<ol class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Yoast SEO:<\/strong>\u00a0Dari dashboard WordPress Anda, navigasi ke\u00a0<code>SEO<\/code>\u00a0&gt;\u00a0<code>Tools<\/code>\u00a0&gt;\u00a0<code>File editor<\/code>. Di sini, Anda bisa membuat atau mengedit file\u00a0<code>robots.txt<\/code>\u00a0secara langsung.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Rank Math:<\/strong>\u00a0Buka\u00a0<code>Rank Math<\/code>\u00a0&gt;\u00a0<code>General Settings<\/code>\u00a0&gt;\u00a0<code>Edit robots.txt<\/code>. Anda akan menemukan editor teks untuk mengubah file tersebut.<\/li>\n<\/ol>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Keuntungan:<\/strong>\u00a0Metode ini lebih mudah karena Anda tidak perlu mengakses cPanel atau FTP, mengurangi risiko salah menempatkan file.<\/p>\n<h3 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Metode 3: Menguji File Robots.txt Anda<\/strong><\/h3>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Setelah membuat atau mengubah file, sangat penting untuk mengujinya.<\/p>\n<ol class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Buka\u00a0<a href=\"https:\/\/search.google.com\/\" target=\"_blank\" rel=\"noopener\"><strong>Google Search Console<\/strong><\/a>\u00a0yang terhubung dengan website Anda.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Cari tool\u00a0<strong>&#8220;Robots.txt Tester&#8221;<\/strong>\u00a0(Anda bisa mencarinya di Google dengan kata kunci tersebut).<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Salin dan tempel kode dari file robots.txt Anda ke dalam tester.<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Anda bisa memasukkan URL spesifik dari situs Anda untuk melihat apakah URL tersebut diizinkan (<code>Allowed<\/code>) atau diblokir (<code>Blocked<\/code>) oleh aturan yang ada.<\/li>\n<\/ol>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Kesalahan Fatal yang Wajib Dihindari Saat Setting Robots.txt<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Kesalahan kecil dalam file ini bisa berdampak besar bagi SEO Anda. Berikut adalah beberapa kesalahan fatal yang harus dihindari.<\/p>\n<ul class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Kesalahan 1: Memblokir Seluruh Situs!<\/strong>\u00a0Ini adalah kesalahan paling fatal. Kode di bawah ini akan memberitahu semua bot untuk tidak merayapi\u00a0<em>seluruh<\/em>\u00a0situs Anda, yang akan membuatnya hilang dari hasil pencarian.<\/p>\n<pre><code>User-agent: *\r\nDisallow: \/\r\n<\/code><\/pre>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Pastikan Anda tidak pernah menggunakan konfigurasi ini kecuali Anda benar-benar ingin menyembunyikan situs dari publik.<\/p>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Kesalahan 2: Salah Menempatkan File<\/strong>\u00a0File\u00a0<code>robots.txt<\/code>\u00a0HARUS berada di direktori\u00a0<em>root<\/em>. Jika Anda menempatkannya di sub-folder (misal:\u00a0<code>domain.com\/blog\/robots.txt<\/code>), bot tidak akan menemukannya, dan semua aturan Anda akan diabaikan.<\/p>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Kesalahan 3: Menggunakan Robots.txt untuk Keamanan<\/strong>\u00a0Ingat,\u00a0<code>robots.txt<\/code>\u00a0adalah instruksi, bukan benteng. File ini bersifat publik. Jangan pernah memblokir direktori yang berisi informasi rahasia dengan asumsi itu akan aman. Gunakan metode otentikasi server atau\u00a0<em>password protection<\/em>\u00a0untuk data sensitif.<\/p>\n<\/li>\n<li class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Kesalahan 4: Bingung antara Melarang <em>Crawl<\/em>\u00a0dan\u00a0<em>Noindex<\/em><\/strong>\u00a0Melarang perayapan (<code>Disallow<\/code>) tidak sama dengan mencegah pengindeksan (<code>noindex<\/code>). Ini adalah salah satu kebingungan paling umum, yang akan kita bahas di bagian selanjutnya.<\/p>\n<\/li>\n<\/ul>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Robots.txt vs Meta Tag Noindex: Apa Bedanya &amp; Kapan Pakainya?<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">Memahami perbedaan antara\u00a0<code>Disallow<\/code>\u00a0di robots.txt dan\u00a0<code>meta tag noindex<\/code>\u00a0sangat penting untuk\u00a0<a href=\"https:\/\/achmadfarid.com\/en\/category\/technical\/\"><em>technical SEO<\/em><\/a>.<\/p>\n<table>\n<thead>\n<tr>\n<th><strong>Aspek<\/strong><\/th>\n<th><strong>Robots.txt (<code>Disallow<\/code>)<\/strong><\/th>\n<th><strong>Meta Tag\u00a0<code>noindex<\/code><\/strong><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><strong>Fungsi<\/strong><\/td>\n<td>Melarang bot\u00a0<strong>mengunjungi\/merayapi<\/strong>\u00a0(<em>crawl<\/em>) halaman.<\/td>\n<td>Mengizinkan bot merayapi, tapi melarang\u00a0<strong>menampilkan<\/strong>\u00a0halaman di hasil pencarian (<em>indeks<\/em>).<\/td>\n<\/tr>\n<tr>\n<td><strong>Kapan Digunakan<\/strong><\/td>\n<td>Halaman non-publik (admin, login), mengelola\u00a0<em>crawl budget<\/em>, mencegah beban server berlebih.<\/td>\n<td>Halaman yang tidak ingin muncul di Google tapi tautannya masih perlu diikuti (misal: halaman profil pengguna, halaman arsip tag yang tipis konten).<\/td>\n<\/tr>\n<tr>\n<td><strong>Penting!<\/strong><\/td>\n<td>Halaman yang di-<em>Disallow<\/em>\u00a0<strong>masih bisa terindeks<\/strong>\u00a0jika ada banyak\u00a0<em>backlink<\/em>\u00a0yang mengarah ke sana (meski Google tidak bisa melihat kontennya).<\/td>\n<td>Cara paling pasti dan direkomendasikan Google untuk mencegah halaman muncul di hasil pencarian.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Singkatnya:<\/strong> Gunakan\u00a0<code>Disallow<\/code>\u00a0untuk memberitahu bot &#8220;Jangan masuk ke ruangan ini&#8221;. Gunakan\u00a0<code>noindex<\/code>\u00a0untuk memberitahu bot &#8220;Kamu boleh masuk, tapi jangan ceritakan isi ruangan ini kepada siapapun&#8221;.<\/p>\n<h2 class=\"typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-ts color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tm color-custom-header layout-mb-2 typography-f-sf typography-fs-n typography-w-500 layout-mt-0 layout-mb-2 typography-sz-tl color-custom-header layout-mb-2\"><strong>Kesimpulan<\/strong><\/h2>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\">File robots.txt adalah alat\u00a0<em>technical SEO<\/em>\u00a0yang kecil namun sangat kuat. Ini adalah alat esensial untuk mengelola perayapan bot, mengoptimalkan\u00a0<em>crawl budget<\/em>, dan menjaga kesehatan teknis situs Anda,\u00a0<strong>bukan untuk keamanan<\/strong>. Konfigurasi yang salah dapat memberikan dampak negatif yang signifikan pada visibilitas website Anda di mesin pencari. Oleh karena itu, selalu periksa dan uji file\u00a0<code>robots.txt<\/code>\u00a0Anda dengan teliti.<\/p>\n<p class=\"typography-f-s typography-fs-n typography-w-400 layout-m-0 typography-sz-bm layout-as-n color-custom-text layout-mb-2\"><strong>Sudahkah Anda memeriksa file robots.txt website Anda? Gunakan Google Robots.txt Tester sekarang untuk memastikan tidak ada kesalahan fatal yang merugikan peringkat Anda!<\/strong><\/p>","protected":false},"excerpt":{"rendered":"<p>Setiap pemilik website ingin situsnya mudah ditemukan Google, tapi tahukah Anda ada halaman yang justru sebaiknya &#8220;disembunyikan&#8221; dari bot mesin pencari? Di sinilah peran krusial file robots.txt. Sederhananya,\u00a0apa itu robot.txt?\u00a0Ini adalah file teks yang memberikan instruksi kepada bot mesin pencari tentang halaman mana yang boleh dan tidak boleh mereka kunjungi. Banyak pemula yang salah mengonfigurasi [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":1164,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[12],"tags":[],"class_list":["post-1163","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technical"],"_links":{"self":[{"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/posts\/1163","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/comments?post=1163"}],"version-history":[{"count":1,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/posts\/1163\/revisions"}],"predecessor-version":[{"id":1165,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/posts\/1163\/revisions\/1165"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/media\/1164"}],"wp:attachment":[{"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/media?parent=1163"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/categories?post=1163"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/achmadfarid.com\/en\/wp-json\/wp\/v2\/tags?post=1163"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}