Blocked by robots.txt: Arti & Solusi GSC 2026
TL;DR (Ringkasan Singkat)
File robots.txt adalah file teks sederhana yang ditempatkan di root direktori situs web Anda (misalnya domain.com/robots.txt). Jika di dalam file tersebut terdapat perintah Disallow: /checkout/, maka Googlebot akan patuh dan tidak akan memproses atau merayapi semua URL yang diawali dengan direktori /checkout/.
format_list_bulleted
Daftar Isi
expand_more
Daftar Isi
Blocked by robots.txt (Diblokir oleh robots.txt) adalah laporan status indeksasi di Google Search Console yang menandakan bahwa bot perayap Google (Googlebot) mendeteksi keberadaan URL di situs Anda, namun tidak dapat merayapi halaman tersebut karena adanya aturan larangan (Disallow) di dalam file robots.txt situs Anda.
Cara Kerja File Robots.txt Terhadap Indeksasi
File robots.txt adalah file teks sederhana yang ditempatkan di root direktori situs web Anda (misalnya domain.com/robots.txt). File ini berfungsi sebagai panduan navigasi bagi robot perayap mesin pencari.
- Jika di dalam file tersebut terdapat perintah Disallow: /checkout/, maka Googlebot akan patuh dan tidak akan memproses atau merayapi semua URL yang diawali dengan direktori /checkout/.
- Catatan Penting: Pemblokiran perayapan melalui robots.txt tidak sama dengan memblokir indeksasi. Jika ada situs luar yang memberikan tautan (backlink) menuju URL Anda yang diblokir tersebut, Google tetap dapat mengindeks halaman tersebut tanpa membacanya, dan akan menampilkannya di SERP dengan pesan "No information is available for this page".
Dampak Terhadap SEO
Aturan pemblokiran ini bisa berdampak positif untuk menghemat crawl budget, atau berdampak fatal jika salah mengonfigurasi halaman utama.
Baca Juga Crawled - Currently Not Indexed GSC: Arti & Solusi 2026 arrow_forward| Kondisi Konfigurasi | Dampak Terhadap SEO | Status Kinerja |
|---|---|---|
| Halaman Admin / Keranjang Belanja Diblokir | Positif. Menghemat crawl budget agar Googlebot fokus pada halaman penting. | Optimal (Memang Seharusnya Diblokir) |
| Halaman Utama / Artikel Utama Diblokir | Negatif. Googlebot tidak dapat memperbarui konten Anda di SERP; merusak ranking. | Kritis (Harus Segera Diatasi) |
Cara Mengatasi Blocked by robots.txt di Google Search Console
Untuk memperbaiki masalah ini dan memastikan Googlebot dapat merayapi kembali halaman web Anda, ikuti langkah-langkah diagnostik berikut:
- Identifikasi URL yang Terkena Dampak: Periksa laporan GSC untuk melihat daftar URL yang ditandai dengan status ini.
- Analisis Aturan Robots.txt Anda: Buka file
domain.com/robots.txtAnda di browser atau gunakan fitur Robots.txt Tester di GSC. Cari baris perintahDisallowyang memicu pemblokiran URL tersebut. - Contoh kode yang memblokir semua bot:
text User-agent: * Disallow: / - Ubah atau Hapus Aturan Disallow: Jika halaman tersebut adalah halaman publik penting yang ingin Anda indeks (misalnya
/blog/), hapus direktori tersebut dari barisDisallowfilerobots.txtAnda. - Gunakan Meta Tag Noindex untuk Menghapus Halaman dari Indeks: Jika tujuan Anda adalah mencegah halaman muncul di Google, jangan gunakan
robots.txt. Biarkan Googlebot merayapinya, tetapi pasang kode<meta name="robots" content="noindex" />pada halaman tersebut agar Google menghapusnya secara bersih dari indeks.
read_more Artikel Terkait
Crawled - Currently Not Indexed GSC: Arti & Solusi 2026
Pelajari selengkapnya tentang topik ini....
Discovered - Currently Not Indexed GSC: Arti & Solusi 2026
Pelajari selengkapnya tentang topik ini....
Submitted URL marked 'noindex': Arti & Solusi GSC 2026
Pelajari selengkapnya tentang topik ini....
Butuh Bantuan SEO Profesional?
Tim ahli kami siap membantu website Anda ranking di halaman 1 Google.