Tahukah anda jika Sebuah website yang sehat mempunyai Robots.txt?
Robots.txt merupakan bagian dari sebuah website yang mengontrol apa yang di baca oleh mesin pencari (contoh: robot crawler google), tanpa adanya robots.txt sebuah website tidak bisa mengontrol apa yang dibaca oleh mesin pencari.
Apa jadi nya website tanpa robots.txt? Robot crawler google akan “salah” mengindeks halaman website anda. Bisa saja halaman error page anda (404 page) atau halaman2 lain yang kurang penting (misal: halaman kebijakan pembelian)
Bila robot crawler google “salah” mengindeks website anda, maka beberapa kerugian seperti di bawah ini akan anda rasa kan:
- Tidak bisa masuk arena persaingan di halaman hasil pencarian Google, website anda mungkin di temukan di halaman hasil pencarian yang kurang/tidak relevan
- Tanpa ada nya robots.txt maka kemungkinan website anda tidak ditemukan di halaman hasil pencarian Google atau ditemukan namun tidak ada penjelasan deskripsi mengenai website
website berikut menampilkan salah satu testimoni customer nya di bagian deskripsi (Google snippet), kemungkinan robots.txt website ini tidak mengatur dengan baik apa yang ingin ditampilkan di bagian deskripsi (Google snippet).
Testimoni bukan-lah sesuatu yang umum untuk di tampilkan di bagian deskripsi (Google snippet). bila anda yang mempunyai website, apakah anda mau menampilkan salah satu testimoni customer anda untuk di lihat jutaan orang di Halaman pencarian Google? Belum tahu mengenai apa isi website , langsung di sodori kalimat testimoni, ini bakal membuat orang langsung menjauh.
website berikut malah terang – terang an menjelaskan bahwa deskripsi website tidak tersedia karena masalah pada robots.txt website ini
update note: tampaknya masalah robots.txt tidak dialami lagi oleh website ini

Website kita Tidak bisa ditemukan di halaman hasil pencarian? parah banget ya? Iya, memang krusial banget manfaat robots.txt ini
berikut penjelasan wikipedia mengenai robots.txt | robots.txt, is a standard used by websites to communicate with web crawlers and other web robots. The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned. | penjelasan wiki disini
Selain mengecek langsung keberadaan si robots.txt di kumpulan file website anda, ada cara yang lebih mudah yaitu dengan mengunjungi beberapa website khusus untuk mengecek keberadaan robots.txt. salah satu nya adalah website berikut ini
Komen dengan Facebook kamu