Penting untuk melengkapi website anda dengan fitur ini, agar mesin pencari dapat meng indeks website anda dengan tepat.
Definisi dari Robots.txt adalah bagian dari website anda yang mengontrol apa yang tidak boleh di indeks oleh mesin pencari (Google).
Anda tidak mau kan kalo tiba tiba halaman kontak anda atau halaman “test” anda yang di indeks pertama kali sehingga muncul di halaman hasil pencarian.
Apabila hal ini terjadi,maka otomatis orang yang menemukan website anda di halaman hasil pencarian, berkemungkinan besar tidak akan meng klik website anda.
karena mereka merasa tidak menemukan informasi yang mereka cari di website anda,hal ini dapat terjadi karena google menampilkan halaman yang salah, google menampilkan halaman yang salah,bisa jadi karena website anda tidak mempunyai robots.txt.
Cek keberadaan robots.txt website anda disini :
Komen dengan Facebook kamu