Pada artikel ini update.or.id akan membahas mengenai salah satu file penting yang wajib dimiliki oleh setiap website yaitu robot txt atau dikenal juga dengan robot.txt.
Pada umumnya, robot.txt ini sendiri sidah terinstall ketika pemilik website melakukan instalasi CMS seperti wordpress ataupun lainnya.
Namun, pada beberapa kasus ada juga yang secara default tidak ada file robot.txt. Untuk itu kita juga perlu membuatnya. Lantas apa itu Robot.txt? berikut ulasannya.
Apa Itu Robot txt
Robot.txt adalah sebuah file yang digunakan oleh webmaster untuk memberikan instruksi kepada robot atau spider mesin pencari tentang bagaimana mereka harus merayapi atau mengindeks halaman web di situs web. File robot.txt berisi instruksi tentang halaman web mana yang harus diindeks atau tidak, serta seberapa sering dan dengan cara apa halaman tersebut dapat diindeks. Dalam artikel ini, kita akan membahas tentang pengertian dan penggunaan file robot.txt.
Pengertian Robot.txt
File robot.txt adalah sebuah file teks yang diletakkan di direktori utama situs web yang berisi instruksi tentang halaman web mana yang boleh atau tidak boleh diindeks oleh robot atau spider mesin pencari. File ini digunakan untuk memastikan bahwa halaman web yang sensitif atau tidak relevan tidak terindeks oleh mesin pencari.
Penggunaan Robot.txt
File robot.txt umumnya digunakan oleh webmaster untuk memberikan instruksi kepada mesin pencari seperti Google, Bing, Yahoo, dan sebagainya tentang bagaimana mereka harus merayapi atau mengindeks halaman web di situs web. Beberapa instruksi yang dapat diberikan melalui file robot.txt adalah:
- Disallow: Instruksi ini digunakan untuk mencegah mesin pencari untuk mengindeks halaman tertentu. Misalnya, jika Anda memiliki halaman yang hanya ditujukan untuk pengguna tertentu, Anda dapat membatasi akses ke halaman tersebut melalui file robot.txt dengan menambahkan kode disallow.
Contoh:
User-agent: * Disallow: /halaman-terlarang.html
- Allow: Instruksi ini digunakan untuk memberitahu mesin pencari untuk mengindeks halaman tertentu. Misalnya, jika Anda memiliki halaman yang ingin diindeks, tetapi tidak masuk ke dalam direktori utama, Anda dapat menambahkan kode allow pada file robot.txt.
Contoh:
User-agent: * Disallow: /folder-rahasia/ Allow: /folder-rahasia/halaman-terindeks.html
- Sitemap: Instruksi ini digunakan untuk memberitahu mesin pencari tentang letak sitemap situs web Anda. Sitemap adalah sebuah file yang berisi daftar halaman web di situs web Anda yang ingin diindeks oleh mesin pencari.
Contoh:
Sitemap: http://www.namasitus.com/sitemap.xml
- Crawl-delay: Instruksi ini digunakan untuk membatasi kecepatan mesin pencari dalam merayapi atau mengindeks halaman web di situs Anda. Ini bisa berguna untuk menghindari penggunaan bandwidth yang berlebihan atau untuk melindungi server Anda dari serangan DDoS.
Contoh:
User-agent: * Disallow: /folder-rahasia/ Allow: /folder-rahasia/halaman-terindeks.html Crawl-delay: 10
Kesimpulan
File robot.txt adalah sebuah file teks yang berisi instruksi tentang bagaimana mesin pencari harus merayapi atau mengindeks halaman web di situs Anda. Dalam file ini, Anda dapat memberikan instruksi kepada mesin pencari tentang halaman web yang boleh atau tidak boleh diindeks, serta seberapa sering dan dengan cara apa halaman tersebut dapat diindeks.
