Cara menggunakan file robots.txt untuk SEO

Apa yang dibahas panduan ini

Tulisan ini menjelaskan apa yang dikendalikan dan tidak dikendalikan oleh robots.txt, menunjukkan sintaks yang benar dan contoh praktis, memberikan pemeriksaan baris perintah yang bisa kamu jalankan, serta mencantumkan langkah pemecahan masalah untuk memulihkan kesalahan umum. Kamu juga akan mendapatkan tips verifikasi yang efektif di lingkungan pencarian 2026 (pengindeksan mobile-first adalah default Google sejak July 2024 dan Google menghapus halaman cache tradisional pada awal 2024).

Apa itu robots.txt dan apa yang dikendalikannya

robots.txt adalah file teks biasa di root situs yang menyampaikan instruksi perayapan kepada web robot yang patuh. Ini bagian dari Robots Exclusion Standard. Gunakan file ini untuk memberi tahu crawler jalur mana yang boleh mereka ambil; ini mengatur perayapan, bukan pengindeksan atau peringkat.

Perbedaan penting yang perlu diingat:

Perayapan vs pengindeksan vs peringkat — robots.txt memengaruhi perayapan (apa yang diambil oleh agen). Sebuah URL yang diblokir untuk perayapan masih bisa diindeks jika halaman lain menautkannya dan mesin pencari memilih untuk mengindeks URL tersebut tanpa mengambil kontennya.

robots.txt bersifat anjuran — hanya crawler yang patuh yang akan mengikutinya. Bot jahat, pengumpul spam, dan beberapa scanner mungkin mengabaikannya.

robots.txt tidak menggantikan kontrol akses. Gunakan HTTP authentication, proteksi sandi, atau kontrol sisi server untuk konten privat.

Lokasi robots.txt dan aturan dasar

robots.txt harus disajikan dari root situs pada host dan protokol yang tepat untuk mana aturan berlaku. Lokasi contoh yang berbeda: https://example.com/robots.txt dan https://sub.example.com/robots.txt. Kamu tidak bisa menempatkan robots.txt di subfolder dan berharap itu mengontrol seluruh domain.

Untuk kemudahan dan contoh dalam panduan ini, path uji kanonis adalah http://www.yoursite.com/robots.txt.

Sintaks robots.txt dan direktif umum

robots.txt minimal menggunakan direktif yang dikelompokkan menurut user-agent. Baris tidak sensitif terhadap huruf besar/kecil untuk nama direktif. Contoh di bawah menggunakan token standar yang didukung oleh sebagian besar crawler besar:

Blok semua crawler dari sebuah direktori:

User-agent: *

Disallow: /private/

Izinkan file tertentu sambil menolak direktori-nya (berguna untuk parsing ala Googlebot):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Sitemap bisa dideklarasikan di robots.txt untuk menunjukkan kepada crawler sitemap XML:

Sitemap: http://www.yoursite.com/sitemap.xml

Pencocokan pola: mesin pencari mendukung wildcard asterisk (*) dan penanda akhir-string dollar ($) dalam pola robots.txt. Direktif non-standar Crawl-delay diabaikan oleh beberapa engine (Google tidak mendukung Crawl-delay).

Contoh praktis

1) Izinkan semua crawler mengambil semuanya (opsi aman default):

User-agent: *

Disallow:

2) Blokir satu crawler (misalnya, menolak agen tertentu dari semua konten):

User-agent: BadBot

Disallow: /

3) Mencegah crawler mengambil resource yang diperlukan untuk rendering (kesalahan umum — lihat pemecahan masalah):

Disallow: /static/js/

Memblokir CSS/JS dapat menghentikan Google melihat halamanmu seperti yang dilihat pengguna. Karena Google menggunakan versi mobile sebagai dasar utama untuk perayapan dan pengindeksan dan mengevaluasi Core Web Vitals dari halaman yang dirender, jangan memblokir resource yang diperlukan untuk rendering.

Cara memverifikasi dan memecahkan masalah robots.txt

Pemeriksaan dasar yang bisa kamu jalankan dari luar situs:

Ambil isi file: curl http://www.yoursite.com/robots.txt — ini mengembalikan konten file yang akan dilihat crawler.

Periksa hanya header: curl -I http://www.yoursite.com/robots.txt — memverifikasi status HTTP (200 vs 4xx/5xx) dan Content-Type. -I mengembalikan hanya header respons.

Lihat bagaimana browser menerimanya: buka https://www.yoursite.com/robots.txt di browser dan konfirmasi kontennya sama dengan curl.

Periksa log server untuk permintaan crawler nyata ke /robots.txt dan untuk Googlebot atau agen lain yang mencoba mengambil halaman yang diblokir — log adalah sinyal pihak ketiga yang paling dapat diandalkan tentang perilaku crawler.

Pemeriksaan yang harus kamu jalankan saat kamu memiliki properti:

Gunakan URL Inspection di Google Search Console untuk halaman individual untuk melihat apakah Google telah mengambil atau mengindeks sebuah URL. URL Inspection bersifat otoritatif untuk properti yang kamu miliki.

Setelah mengubah robots.txt, pantau log server dan laporan Performance di Search Console untuk memastikan perilaku perayapan pada halaman penting.

Tanda-tanda umum masalah dan apa yang harus dilakukan

Kamu tidak sengaja memblokir CSS/JS — gejala: halaman dirender berbeda bagi crawler; Solusi: hapus jalur resource dari Disallow agar crawler bisa mengambilnya.

robots.txt mengembalikan 404/5xx — gejala: beberapa crawler mungkin menganggap situs sepenuhnya dapat di-crawl atau menangguhkan perayapan sementara; Solusi: pulihkan robots.txt yang valid yang mengembalikan 200 dan Content-Type yang benar.

Kamu memblokir seluruh host atau protokol dengan menempatkan robots.txt di subdomain yang salah — gejala: halaman hilang dari log perayapan; Solusi: tambahkan robots.txt ke host yang benar (dan periksa pengalihan).

Jika sebuah halaman diblokir dari perayapan namun tetap muncul di hasil pencarian tanpa snippet, itu menunjukkan URL diindeks dari sinyal eksternal meskipun kontennya tidak diambil. Untuk menghapus URL seperti itu dari hasil, gunakan HTTP authentication yang tepat, hapus halaman tersebut, atau sajikan direktif noindex pada halaman itu sendiri (noindex mengharuskan crawler mengambil halaman, jadi jangan memblokirnya di robots.txt jika kamu berencana menggunakan noindex).

Daftar periksa: terapkan dan tinjau robots.txt dengan aman

Tempatkan robots.txt di root situs untuk host dan protokol yang tepat.

Uji file dengan curl (isi dan header) dan di browser.

Hindari memblokir CSS, JavaScript, atau aset lain yang digunakan untuk rendering kecuali kamu sengaja ingin mencegah rendering oleh crawler.

Umumkan sitemap di robots.txt untuk membantu crawler menemukan URL yang bisa diindeks.

Pantau log server dan Search Console untuk perilaku perayapan setelah perubahan.

Jika kamu membutuhkan referensi langkah-demi-langkah, baca Baca Technical SEO Guide untuk konteks yang lebih luas tentang crawlability dan Core Web Vitals.

Pertimbangan tambahan di 2026

Karena Google menggunakan versi mobile sebagai dasar utama untuk perayapan dan pengindeksan dan karena halaman cache tradisional dihapus pada awal 2024, konten yang sengaja disembunyikan dari crawler lewat robots.txt mungkin kurang mungkin muncul di ringkasan AI modern dan fitur Search Generative Experience. Jika kamu ingin konten tersedia untuk ringkasan AI atau digunakan untuk fitur SERP kaya, izinkan crawler mengambil dan mengindeks halaman tersebut serta gunakan structured data bila sesuai.

FAQ