Sitemap XML untuk SEO: Panduan perayapan & pengindeksan

Apa yang dilakukan (dan tidak dilakukan) peta situs XML

Peta situs XML adalah file yang dapat dibaca mesin yang mencantumkan URL yang ingin kamu mesin pencariketahui. Ia memberi sinyal halaman mana yang kamu anggap penting, menyediakan petunjuk tentang tanggal modifikasi terakhir, dan mengelompokkan beberapa peta situs melalui indeks peta situs. Peta situs mempercepat penemuan dan membantu mesin pencari mengunjungi ulang halaman yang diperbarui dengan lebih efisien, tetapi ini bersifat panduan bukan perintah: mesin pencari tetap memutuskan halaman mana yang di-crawl, diindeks, dan diberi peringkat berdasarkan kualitas, relevansi, duplikasi, dan kepercayaan situs.

Dengan kata lain: peta situs membantu penemuan dan menjaga kebersihan pengindeksan. Itu tidak membuat konten tipis atau duplikat menjadi berperingkat, dan tidak bisa menggantikan arsitektur situs yang baik, kanonisasi yang benar, atau kontrol pengindeksan (mis. menggunakan noindex bila perlu).

Bagaimana peta situs berinteraksi dengan perayapan, pengindeksan, dan peringkat

Pisahkan tiga proses ini dalam pikiranmu: perayapan (mengambil URL), pengindeksan (memutuskan konten mana yang disimpan), dan peringkat (mengurutkan hasil). Peta situs terutama memengaruhi sinyal perayapan dan pengindeksan: mereka memberi tahu mesin pencari dari mana memulai dan halaman mana yang telah berubah. Mereka bukan faktor peringkat langsung, tetapi penemuan yang lebih baik dan pengindeksan yang lebih segar dapat membantu halaman muncul secara tidak langsung di tempat yang mungkin terlewat.

Catatan teknis: Google menggunakan versi mobile sebagai dasar utama untuk perayapan dan pengindeksan; sejak July 2024, Google merayapi situs untuk Search dengan Googlebot Smartphone secara default. Selain itu, Google menghapus tampilan halaman "Cached" tradisional pada awal 2024, sehingga snapshot cached yang terlihat tidak lagi menjadi permukaan pemecahan masalah publik.

Mekanika dan format peta situs

Struktur XML dan elemen umum

Peta situs standar menggunakan <urlset> dengan entri anak <url>. Elemen anak yang biasa adalah <loc> (URL), <lastmod> (petunjuk opsional tentang modifikasi terakhir), <changefreq> dan <priority> (keduanya petunjuk opsional). Mesin pencari mungkin menganggap ini sebagai petunjuk, bukan instruksi otoritatif.

Contoh entri: <url><loc>https://example.com/page</loc><lastmod>2026-08-01</lastmod></url>

Indeks peta situs, kompresi, dan batasan

Kamu bisa mengelompokkan beberapa peta situs menggunakan indeks peta situs. Menurut spesifikasi protokol peta situs, satu file peta situs dapat berisi hingga 50,000 URL dan sebaiknya tidak melebihi batas ukuran tidak terkompresi yang ditetapkan oleh spesifikasi; ketika sebuah situs melampaui batas itu, gunakan indeks peta situs untuk membagi set ke beberapa file. File terkompresi (.xml.gz) didukung dan umum digunakan untuk situs besar.

Apa yang harus dimasukkan — daftar periksa praktis

Cantumkan URL yang ingin kamu agar mesin pencari pertimbangkan untuk dirayapi dan diindeks. Jaga daftar tetap fokus; hindari menambahkan halaman yang tidak seharusnya diindeks.

Daftar periksa:

• Halaman kanonik yang dapat diindeks dengan konten bermakna (URL pilihanmu)
• Halaman yang dapat dicapai melalui navigasi internal atau konten penting yang digerakkan API yang ingin kamu rayapi
• Perwakilan halaman landing untuk paginasi, navigasi faceted, atau struktur kategori ketika halaman-halaman tersebut dapat diindeks
• peta situs XML entri yang menyertakan nilai lastmod yang masuk akal ketika kamu memiliki stempel waktu pembaruan yang andal

Apa yang harus dikecualikan

Jangan sertakan URL yang harus tetap di luar indeks: halaman noindex, lingkungan staging/test, halaman hasil pencarian internal, URL duplikat yang menunjuk ke versi kanonik, dan varian dengan parameter sesi atau tracking. Juga hindari mencantumkan respons non-200, redirect, dan soft-404 sebagai entri utama peta situs.

Verifikasi dan pemecahan masalah

Pemeriksaan tingkat server dan file

Dari luar, verifikasi bahwa file peta situs dapat dijangkau dan disajikan dengan content-type yang benar. Gunakan curl untuk memeriksa header dan mengambil isi file. Untuk hanya header: curl -I https://example.com/sitemap.xml. Jika kamu membutuhkan isi file, ambil body dengan flag follow-redirects: curl -sL https://example.com/sitemap.xml. Periksa bahwa respons mengembalikan status seri 200 dan Content-Type adalah XML atau application/xml.

Parsing dan validasi

Validasi sintaks XML dan pastikan URL valid. Kamu dapat mem-pipe peta situs ke parser XML (mis. xmllint) atau menggunakan validator online. Juga gunakan Google Search Console Laporan Sitemaps untuk mengirim dan menguji peta situs untuk properti yang kamu kontrol; untuk setiap peta situs yang dikirim GSC menunjukkan kesalahan parsing, jumlah URL yang ditemukan, dan detail diagnostik lainnya.

Pemeriksaan pengindeksan

Untuk halaman yang kamu miliki, gunakan URL Inspection di Google Search Console untuk melihat apakah Google telah merayapi dan mengindeks URL tertentu dan versi mana yang digunakan untuk pengindeksan. Untuk halaman penerbit pihak ketiga yang tidak kamu kontrol, operator publik site: dapat memberikan indikasi bahwa Google mengetahui sebuah halaman, tetapi itu tidak konklusif. Gabungkan site:kueri dengan cuplikan unik atau fragmen judul untuk meningkatkan kepastian, dan ingat bahwa site: adalah sinyal publik, bukan status indeks otoritatif.

File log dan crawl budget

Jika kamu memiliki akses ke log server, periksa perilaku perayapan setelah mengirim atau memperbarui peta situs. Periksa apakah crawler mesin pencari meminta peta situs dan apakah mereka mengikuti tautan dari halaman yang tercantum. Untuk situs besar, peta situs yang terawat baik membantu memastikan crawler menemukan konten mendalam tanpa membuang crawl budget pada halaman duplikat dan bernilai rendah.

Kesalahan umum dan cara menghindarinya

Kesalahan: mencantumkan URL non-kanonik atau halaman yang mengembalikan redirect atau status non-200. Solusi: pastikan entri peta situs menunjuk ke URL kanonik yang dapat diindeks dan hapus target redirect.

Kesalahan: memenuhi peta situs dengan varian parameter, URL parameter duplikat, atau ID sesi. Solusi: gunakan tag kanonik, penanganan parameter, dan kecualikan atau normalisasi varian sebelum mencantumkannya di peta situs.

Kesalahan: mengandalkan <changefreq> dan <priority> untuk memaksa re-crawl. Solusi: anggap elemen-elemen tersebut sebagai petunjuk opsional dan gunakan nilai lastmod yang andal atau notifikasi push (mis. pubsubhubbub untuk konten yang didukung) untuk memberi sinyal perubahan.

Peta situs untuk skenario khusus

Situs besar dan arsitektur terdistribusi

Pisahkan konten ke dalam file peta situs yang logis (berdasarkan tipe konten, bagian, atau jendela lastmod) dan gunakan indeks peta situs. Ini membuat parsing dan pemecahan masalah lebih mudah dan memungkinkanmu memperbarui hanya sebagian peta situs ketika suatu vertikal situsmu sering berubah.

Konten AJAX / yang dirender klien

Jika sebagian situsmu bergantung pada rendering sisi-klien, sertakan URL kanonik yang dirender server atau pre-rendered di peta situs agar crawler menemukan HTML yang dapat digunakan. Jika kamu dapat menyajikan konten langsung ke Googlebot Smartphone (sesuai dengan mobile-first indexing praktik), pastikan entri peta situs cocok dengan URL yang menyajikan konten yang dapat diindeks kepada pengguna.

Daftar perawatan

Bulanan atau kuartalan:

• Kirim ulang peta situs di Google Search Console setelah perubahan struktural besar
• Pindai kesalahan parsing atau respons 4xx/5xx yang tercantum di peta situs
• Konfirmasi nilai lastmod diperbarui untuk konten yang mengalami perubahan material
• Tinjau log server untuk memastikan peta situs diambil oleh crawler

Bacaan lebih lanjut

Untuk topik teknis terkait, lihat panduan yang lebih luas tentang kesiapan situs:

Baca SEO Teknis Panduan

FAQ