Apa Itu Blocked by robots.txt?

Definisi Blocked by robots.txt

Blocked by robots.txt adalah laporan peringatan di Google Search Console yang terjadi ketika perayap (crawler) Google mencoba memproses sebuah URL, namun terhalang secara sepihak oleh larangan (*Disallow*) yang dikonfigurasi di dalam file robots.txt situs web tersebut.

Sistem Googlebot adalah sistem yang taat aturan. Jika ada deklarasi perintah yang melarang mereka memasuki sebuah direktori, mereka akan berhenti seketika di gerbang depan dan mencatatnya sebagai status ini.

Kapan Hal Ini Menjadi Masalah (Error)?

Status ini akan berubah menjadi peringatan error berwarna merah (Valid with warnings) jika halaman yang diblokir oleh robots.txt tersebut pada saat yang bersamaan justru dikirimkan secara sukarela ke Google melalui Sitemap.xml.

Hal ini menciptakan instruksi yang saling bertolak belakang: Sitemap Anda menyuruh Google untuk mengindeksnya, tetapi Robots.txt Anda melarang Google untuk membacanya.

Cara Mengatasi

Cara memperbaikinya tergantung pada niat atau tujuan awal Anda untuk halaman tersebut:

• Jika halaman ITU INGIN DIINDEKS: Hapus baris perintah Disallow untuk direktori URL tersebut di file robots.txt yang terletak di root domain Anda.
• Jika halaman ITU TIDAK INGIN DIINDEKS (Misal: Keranjang Belanja): Jangan memblokirnya dengan robots.txt jika tujuannya murni untuk menghapus dari indeks SERP. Gunakanlah tag Robots Meta Tag (noindex). Dan pastikan URL tersebut dihapus dari file Sitemap.xml situs Anda.