Reader Comments

Mengenal Robots.txt: Fungsi dan Contohnya

"kencanacars" (2025-02-21)

 |  Post Reply

Mengenal Robots.txt: Fungsi dan ContohnyaMengenal Robots.txt: Fungsi dan ContohnyaApa Itu Robots.txt?

Robots.txt adalah file teks sederhana yang digunakan untuk mengontrol bagaimana mesin pencari seperti Google, Bing, dan Yahoo mengindeks halaman di sebuah situs web. File ini memberi tahu bot atau crawler mana halaman yang boleh atau tidak boleh mereka akses.

Fungsi Robots.txt
  • Membatasi Akses Bot ke Halaman Tertentu - Misalnya, halaman admin atau data pribadi tidak perlu diindeks oleh mesin pencari.
  • Mengoptimalkan Crawl Budget - Dengan robots.txt, Anda bisa mengarahkan bot ke halaman yang lebih penting.
  • Mencegah Duplikasi Konten - Jika ada halaman duplikat atau versi lain dari halaman yang sama, robots.txt dapat mencegah indeks ganda.
Cara Membuat Robots.txt

Robots.txt harus ditempatkan di root direktori situs web Anda, misalnya:

https://www.contohsitus.com/robots.txt

Contoh File Robots.txtUser-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /
Sitemap: https://www.contohsitus.com/sitemap.xml
Penjelasan:
  • User-agent: * → Berlaku untuk semua mesin pencari.
  • Disallow: /admin/ → Melarang akses ke folder admin.
  • Disallow: /private/ → Melarang akses ke folder private.
  • Allow: / → Mengizinkan akses ke seluruh situs selain yang dilarang.
  • Sitemap: → Menunjukkan lokasi sitemap.xml agar bot lebih mudah mengindeks halaman penting.
Kesimpulan

Robots.txt adalah alat penting untuk mengatur akses mesin pencari ke situs web Anda. Dengan konfigurasi yang tepat, Anda bisa meningkatkan SEO dan melindungi data sensitif dari indeksasi yang tidak diinginkan.

Referensi Terkait

Add comment