Robots.txt
TL;DR (Ringkasan Singkat)
file teks sederhana (plain text) yang ditempatkan di direktori root situs web untuk memberikan instruksi kepada robot perayap mesin pencari tentang halaman mana yang boleh atau tidak boleh dirayapi.
format_list_bulleted
Daftar Isi
expand_more
Daftar Isi
Definisi Robots.txt
Robots.txt adalah file teks sederhana (plain text) yang ditempatkan di direktori root situs web untuk memberikan instruksi kepada robot perayap mesin pencari tentang halaman mana yang boleh atau tidak boleh dirayapi.
Atribut Penting Robots.txt
- User-agent Directives: Deklarasi baris kode yang menentukan instruksi khusus untuk jenis robot perayap tertentu, seperti Googlebot, Bingbot, atau Slurp. Dengan memetakan instruksi berdasarkan user-agent, pemilik website dapat membuat aturan akses yang dipersonalisasi, membatasi bot spam berbahaya, serta mengatur prioritas perayapan secara lebih efisien di seluruh domain.
- Disallow Directive: Perintah dalam file robots.txt yang melarang robot perayap untuk mengakses URL, folder, atau pola file tertentu di dalam situs web Anda. Penerapan disallow sangat berguna untuk menyembunyikan halaman admin, data keranjang belanja, file sistem sensitif, atau folder berisi skrip internal dari jangkauan indeksasi umum.
- Sitemap URL Declaration: Penyantuman tautan langsung ke lokasi file XML sitemap di bagian bawah file robots.txt untuk memudahkan robot mesin pencari menemukannya. Deklarasi ini membantu robot perayap yang baru pertama kali mengunjungi domain Anda untuk langsung mendapatkan peta jalan situs lengkap tanpa harus menebak jalur struktur direktori.
- Crawl-delay Parameter: Instruksi opsional yang meminta bot mesin pencari non-Google untuk memberikan jeda beberapa detik di antara setiap permintaan halaman guna menghindari beban berlebih pada server. Pengaturan crawl-delay membantu menjaga performa server hosting tetap stabil saat menerima kunjungan agresif dari robot mesin pencari alternatif.
Urgensi Robots.txt dalam SEO
Robots.txt adalah alat kendali pertama yang dibaca oleh crawler mesin pencari saat mengunjungi situs web Anda, menjadikannya salah satu file paling krusial dalam Technical SEO. Kesalahan kecil dalam penulisan sintaksis, seperti menaruh tanda garis miring (/) pada perintah disallow universal, dapat secara tidak sengaja memblokir seluruh situs Anda dari indeks pencarian Google, yang berdampak pada hilangnya trafik organik dalam semalam. Di sisi lain, penggunaan robots.txt yang bijak membantu menghemat crawl budget dengan mencegah bot membuang sumber daya pada halaman dinamis tak bernilai atau duplikat. File ini memastikan bahwa interaksi bot hanya berfokus pada konten bernilai tinggi yang ingin Anda tawarkan kepada audiens di SERP. Untuk memaksimalkan potensi penuh dari strategi ini, pertimbangkan berkonsultasi dengan Jasa Technical SEO kami.