Robots.txt: Apa Itu dan Cara Kerjanya
robots.txt adalah file teks polos yang ditempatkan di root situs web yang menyatakan aturan perayapan untuk perayap web (User-agent, Disallow, Allow, Sitemap). File ini mengontrol perilaku crawling dan dapat memengaruhi pengindeksan tetapi tidak langsung memengaruhi peringkat.
Apa itu robots.txt?
robots.txt (the Robots Exclusion Protocol) adalah file teks polos yang terletak di root sebuah host — mis. https://example.com/robots.txt — yang memberi instruksi perayapan sederhana kepada user-agents (perayap web). File ini bersifat publik dan dapat dibaca mesin; ia tidak melakukan otentikasi atau menyembunyikan konten. Perayap membaca robots.txt untuk mengetahui jalur yang ingin dihindari atau diprioritaskan oleh pemilik situs.
Mengapa robots.txt penting untuk SEO
Robots.txt mengendalikan perayapan. Perayapan adalah tahap penemuan dan pengambilan tentang bagaimana mesin pencari berinteraksi dengan situs Anda; jika sebuah perayap diblokir dari mengambil URL, mungkin tidak melihat arahan di halaman (seperti meta robots) atau konten halaman yang diperlukan untuk diindeks. Itu berarti robots.txt dapat secara tidak langsung memengaruhi pengindeksan. Ia tidak secara langsung menentukan urutan peringkat — peringkat menggunakan banyak sinyal setelah pengindeksan. Gunakan robots.txt untuk melindungi sumber daya server, menghindari perayapan halaman yang duplikat atau halaman alat internal, dan memastikan perayap dapat mengakses aset yang diperlukan untuk perenderan yang benar.
Bagaimana robots.txt bekerja
Sebuah perayap mengambil /robots.txt sebelum meminta halaman lain di host yang sama dan menerapkan stanza User-agent pertama yang cocok beserta direktifnya. Direktif umum yang didukung oleh perayap utama termasuk User-agent, Disallow, Allow dan Sitemap. Dukungan untuk pencocokan pola dan direktif tambahan bervariasi antar perayap—Google mengenali pola seperti * dan $ dan menghormati aturan prioritas Allow/Disallow sesuai dokumentasinya.
Direktif umum dan contoh
Contoh robots.txt minimal:
User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Catatan: letakkan robots.txt di root situs. Jika robots.txt mengembalikan HTTP 404, sebagian besar crawler menganggap itu sebagai 'tanpa pembatasan'; jika tidak dapat diambil atau mengembalikan error server, perilaku crawler bisa bervariasi — uji dan pantau untuk menghindari pemblokiran luas yang tidak disengaja. Untuk perilaku dan contoh khusus Google, konsultasikan dokumentasi robots.txt Google.
Jenis robots.txt
Pola yang berbeda digunakan tergantung tujuan. Di bawah ini pendekatan umum beserta kelebihan dan kekurangannya secara ringkas.
- Pemblokiran seluruh situs (Disallow: /)
Kelebihan: langsung mencegah crawler mengakses seluruh host.
Kekurangan: mencegah crawler mengambil konten dan aset; dapat menghentikan pengindeksan halaman publik.
- Aturan khusus jalur (Disallow: /private/)
Kelebihan: mudah mengecualikan jalur internal atau admin.
Kekurangan: robots.txt bersifat publik; jangan mencantumkan jalur sensitif yang Anda harap tetap rahasia.
- Aturan spesifik User-agent (User-agent: Googlebot)
Kelebihan: menyesuaikan perilaku untuk crawler tertentu.
Kekurangan: menambah pekerjaan pemeliharaan; beberapa crawler mengabaikan direktif non-standar.
Cara memulai dengan robots.txt
1) Tentukan apa yang perlu dilindungi dari crawling (mis. area yang membebani server, jalur staging) dan apa yang harus tetap tersedia untuk crawler (halaman publik, CSS/JS yang diperlukan untuk rendering).
2) Buat file teks biasa bernama robots.txt di root situs. Uji secara lokal dan di host staging sebelum deploy ke produksi.
3) Deploy dan verifikasi menggunakan checklist teknis di bawah. Buat file sesederhana mungkin dan dokumentasikan aturan User-agent khusus agar pemelihara di masa depan memahami maksudnya.
Kesalahan umum pada robots.txt
• Mengandalkan robots.txt untuk menyembunyikan data sensitif — robots.txt bersifat publik dan tidak boleh dipakai untuk keamanan. Gunakan autentikasi atau hapus resource tersebut.
• Memblokir CSS/JS yang diperlukan untuk rendering — ini dapat merugikan cara mesin pencari memahami tata letak dan konten halaman.
• Memblokir halaman yang mengandung meta noindex — jika Googlebot diblokir mengakses halaman, ia tidak dapat melihat direktif meta noindex.• Menempatkan robots.txt di subpath (mis. /blog/robots).txt) — crawler hanya mencari file di tingkat root.
• Kesalahan sintaks dan kode status HTTP yang salah — pastikan file disajikan dengan respons HTTP 200 yang sesuai.
Verifikasi robots.txt: daftar periksa teknis
Gunakan pemeriksaan di bawah ini setelah menerapkan atau memperbarui robots.txt. Setiap poin mencantumkan tempat untuk memeriksa dan kondisi kelulusan yang jelas.
**File dapat dijangkau** — tempat verifikasi: curl -I https://example.com/robots.txt — lulus jika permintaan mengembalikan HTTP 200 dan isi file sesuai yang diharapkan.
**Direktif yang benar** — tempat verifikasi: curl https://example.com/robots.txt atau view-source di browser — lulus jika baris User-agent/Disallow/Allow sesuai kebijakan Anda.
**Tidak memblokir aset rendering** — tempat verifikasi: Chrome DevTools (tab Network dan Coverage) atau ambil via simulator crawler — lulus jika CSS/JS yang dibutuhkan untuk rendering tidak diblokir.
**Pemeriksaan blokir Google (situs sendiri)** — tempat verifikasi: Google Search Console URL Inspection — lulus jika fitur URL Inspection menunjukkan URL dapat di-crawl dan tidak 'Blocked by robots.txt'.**Pemeriksaan crawl eksternal** — tempat verifikasi: gunakan curl atau crawler pihak ketiga untuk meminta URL yang diblokir dan konfirmasi bahwa halaman mengembalikan 200 tetapi crawler ditolak akses — lulus jika perilaku sesuai ekspektasi.
**Kehadiran sitemap** — tempat verifikasi: isi robots.txt dan laporan Sitemaps di Google Search Console — lulus jika URL sitemap tercantum di robots.txt atau dikirim di Search Console dan diterima.
Alat dan perintah untuk memverifikasi robots.txtcurl (headers only): curl -I https://example.com/robots.txt — mengembalikan status HTTP dan header respons. curl (full file): curl https://example.com/robots.txt — menampilkan isi untuk pemeriksaan. Chrome DevTools: buka URL file atau lihat permintaan jaringan halaman untuk memastikan aset diizinkan. Google Search Console URL Inspection: untuk URL yang Anda miliki, alat ini melaporkan apakah Google melihat halaman dan apakah halaman diblokir oleh robots.txt.Bing Webmaster Tools — Site Explorer dapat menunjukkan bagaimana Bing menangani file untuk situs yang Anda verifikasi. Gunakan log server untuk mengonfirmasi user-agent mana yang meminta robots.txt dan seberapa sering.
Untuk detail otoritatif tentang direktif yang didukung dan preseden, lihat dokumentasi resmi di https://developers.google.com/search/docs/advanced/robots/intro
Pertanyaan yang Sering Diajukan
Q: Jika saya memblokir halaman dengan robots.txt, apakah halaman tersebut akan hilang dari hasil pencarian?
A: Memblokir dengan robots.txt mencegah crawler mengambil halaman, yang biasanya membuat mereka tidak melihat sinyal pada halaman. Halaman yang diblokir masih bisa muncul di hasil pencarian berdasarkan sinyal eksternal (entri hanya URL), tetapi tidak akan memiliki cuplikan tersimpan atau konten yang dirender. Untuk meminta penghapusan, gunakan alat penghapusan indeks untuk URL yang Anda miliki; untuk mengontrol pengindeksan melalui metadata, pastikan halaman dapat di-crawl sehingga crawler bisa melihat direktif meta robots:noindex.
Q: Bisakah saya menggunakan robots.txt untuk memblokir bot tertentu?
A: Anda dapat menambahkan stanza yang spesifik untuk User-agent untuk menargetkan crawler yang dikenal. Namun, robots.txt adalah sistem kepercayaan: crawler yang patuh akan mengikutinya, sementara bot berbahaya mungkin mengabaikannya. Untuk perlindungan yang lebih kuat, gunakan otentikasi, pemfilteran IP, atau firewall.
Q: Haruskah saya menyertakan sitemap saya di robots.txt?
A: Menambahkan Sitemap: https://example.com/sitemap.xml di robots.txt adalah cara praktis untuk menunjukkan crawler ke sitemap Anda; juga kirimkan sitemap langsung melalui Google Search Console untuk situs yang Anda kendalikan.
Q: Apakah robots.txt berlaku per protokol dan host?
A: Ya. robots.txt diambil per host dan protokol: https://example.com/robots.txt berbeda dari http://example.com/robots.txt atau https://sub.example.com/robots.txt. Tempatkan file pada skema dan host yang sama yang digunakan oleh situs Anda.
Q: Bagaimana mobile-first indexing mempengaruhi robots.txt?
A: Google menggunakan versi seluler sebagai dasar utama untuk perayapan dan pengindeksan. Sejak Juli 2024, Google merayapi situs untuk Search menggunakan Googlebot Smartphone secara default. Pastikan robots.txt tidak secara tidak sengaja memblokir sumber daya pada halaman yang disajikan untuk perangkat seluler yang diperlukan agar perenderan dan pengindeksan berjalan dengan benar.
Q: Di mana saya bisa menemukan panduan resmi?\nA: Rujuk dokumentasi robots.txt Google di https://developers.google.com/search/docs/advanced/robots/intro dan sumber daya Schema.org dan W3C untuk praktik perayapan dan pengindeksan terkait.
Istilah terkait
Perayap: apa itu dan kenapa penting untuk SEO
Perayap web (crawler) adalah bot otomatis yang mengambil halaman web, mengikuti tautan dan sumber daya untuk menemukan konten bagi mesin pencari; halaman yang dirayapi menjadi kandidat untuk pengindeksan (Googlebot Smartphone digunakan Google secara default sejak July 2024).
Mesin pencari: cara kerja dan dasar-dasar SEO
Mesin pencari adalah sistem perangkat lunak yang menemukan, merayapi, mengindeks, dan mengambil konten web untuk menjawab kueri pengguna; SERP modern juga menampilkan AI Overviews, hasil kaya, dan daftar peringkat yang ditentukan oleh banyak sinyal.
Algoritma pencarian: definisi, cara kerja & dampak pada SEO
Algoritma pencarian adalah serangkaian aturan perangkat lunak yang digunakan mesin pencari untuk menemukan, merayapi, mengindeks, dan memberi peringkat halaman web untuk kueri dengan menggabungkan sinyal relevansi, kualitas konten, sinyal tautan, dan model intent berbasis AI untuk mengurutkan hasil.
Peringkat mesin pencari: definisi dan cara kerjanya
Peringkat mesin pencari adalah urutan di mana mesin pencari menampilkan halaman yang diindeks untuk kueri tertentu; peringkat mencerminkan banyak sinyal—relevansi, backlinks, kualitas konten, page experience, dan intent pengguna—dan berinteraksi dengan AI overviews pada 2026.
Meta tag: jenis, kegunaan, dan praktik terbaik SEO
Meta tag adalah elemen HTML yang menyediakan metadata tentang sebuah halaman (judul, deskripsi, arahan robots, tag pratinjau sosial, dan lainnya). Mesin pencari dan platform membacanya untuk memengaruhi pengindeksan, cuplikan hasil pencarian (SERP) dan presentasi.
On-page SEO: pengertian, daftar periksa, dan cara verifikasi
On-page SEO adalah mengoptimalkan konten halaman, HTML, dan pengalaman pengguna supaya relevan, dapat diindeks, dan berguna bagi pengguna serta mesin pencari modern — meliputi rendering mobile-first, data terstruktur, tag kanonik, dan performa halaman.