Blocked by robots.txt: Arti & Solusi GSC 2026

TL;DR

Peringatan "Blocked by robots.txt" menunjukkan Googlebot menemukan URL Anda. Namun, bot dilarang merayapinya karena aturan file robots.txt. Solusinya adalah menghapus aturan Disallow jika halaman tersebut penting untuk SEO.

Apa Itu Peringatan "Blocked by robots.txt"?

Peringatan ini muncul dalam laporan indeksasi di Google Search Console. Status ini menandakan bahwa crawler mesin pencari mendeteksi keberadaan URL situs Anda. Namun, bot tersebut secara spesifik dilarang untuk merayapi konten di dalamnya. Pemblokiran ini terjadi karena terhalang oleh aturan Disallow di dalam file konfigurasi robots.txt.

Lebih lanjut, halaman tersebut kadang tetap bisa terindeks. Ini terjadi jika ada tautan eksternal yang kuat. Kasus ini sering dikenal dengan status "Indexed, though blocked by robots.txt". Akibatnya, halaman sering muncul di hasil pencarian tanpa deskripsi meta yang jelas.

Perbedaan Krusial Crawling dan Indexing

Memahami teknis mesin pencari mengharuskan kita membedakan antara perayapan (crawling) dan pengindeksan (indexing). File robots.txt hanya bertugas mengontrol perayapan, bukan mencegah pengindeksan.

Sebaliknya, tag meta noindex adalah metode yang benar untuk mencegah pengindeksan. Jika Anda ingin menyembunyikan halaman sensitif, gunakan tag meta tersebut alih-alih memblokirnya di robots.txt. Keduanya sebaiknya tidak digunakan bersamaan pada satu halaman. Memblokir perayapan mencegah Google melihat tag noindex yang sudah Anda pasang.

Penyebab Utama Masalah Pemblokiran

Ada beberapa alasan umum mengapa halaman penting Anda mungkin terblokir. Pertama, aturan yang terlalu ketat secara tidak sengaja memblokir direktori yang seharusnya bisa diindeks. Sebagai contoh, aturan Disallow: / akan memblokir seluruh situs Anda.

Selain itu, pengaturan bawaan CMS kadang memiliki konfigurasi visibilitas pencarian yang bermasalah. Anda mungkin secara tidak sengaja mencentang opsi yang melarang mesin pencari merayapi situs. Oleh karena itu, pemeriksaan teknis berkala sangat disarankan. Untuk mengukur efektivitas perbaikan ini secara objektif, Anda memerlukan panduan audit SEO yang menyeluruh.

Cara Memperbaiki Peringatan di GSC

Langkah berikutnya adalah memperbaiki masalah teknis ini dengan sistematis. Mulailah dengan mengidentifikasi URL yang bermasalah melalui fitur Inspeksi URL di Google Search Console.

Dalam praktiknya, Anda harus membuka file robots.txt di root domain. Cari baris spesifik yang mengandung perintah Disallow yang menghalangi halaman target. Jika halaman tersebut penting untuk trafik organik berkelanjutan, hapus aturan yang menghalanginya. Setelah melakukan perubahan, gunakan penguji robots.txt untuk memvalidasi akses bot.

Studi Kasus B2B: Menghemat Crawl Budget

Sebagai ilustrasi, sebuah vendor perangkat lunak B2B enterprise memiliki portal khusus klien. Portal ini berada di direktori /client-portal/. Tim Technical SEO perusahaan tersebut sengaja menambahkan aturan Disallow: /client-portal/ di file konfigurasi mereka.

Tindakan ini memicu status terblokir di dasbor GSC untuk ribuan halaman akun klien. Praktik B2B ini sebenarnya sangat tepat guna menghemat crawl budget. Tujuannya adalah memastikan agar Googlebot memfokuskan sumber dayanya untuk merayapi halaman publik.

Kesimpulan

Status terblokir oleh file robots bukan selalu pertanda buruk jika diterapkan secara strategis. Namun, pemblokiran tidak sengaja pada halaman utama dapat merusak performa SEO Anda. Evaluasi setiap URL untuk memastikan visibilitas pencarian yang maksimal.