Jika Anda memiliki laman atau isi yang tidak ingin ditampilkan di hasil telusur Google, Anda memiliki sejumlah pilihan.
- Jika Anda ingin menjaga kerahasiaan isi pada server Anda, simpanlah dalam direktori yang dilindungi kata sandi.Googlebot dan spider lain tidak akan dapat mengakses isi tersebut. Ini merupakan cara yang paling mudah dan efektif untuk mencegah Googlebot dan spider lain agar tidak merayapi dan mengindeks isi situs Anda. Jika Anda menggunakan Server Web Apache, Anda dapat mengedit berkas .htaccess Anda untuk melindungi direktori Anda di server dengan kata sandi. Ada banyak perangkat pada web yang akan membantu Anda melakukan hal ini dengan mudah.
- Gunakan robots.txt untuk mengontrol akses ke berkas dan direktori pada server Anda. Berkas robots.txt seperti tanda Dilarang Masuk elektronik. Berkas ini memberitahu Googlebot dan perayap lain untuk berkas dan direktori mana di server Anda yang tidak boleh dirayapi. Agar dapat menggunakan berkas robots.txt, Anda akan perlu mendapatkan akses ke root host Anda (jika Anda tidak yakin, periksa dengan pemilik hose web Anda). Jika Anda tidak memiliki akses ke root domain Anda, Anda dapat membatasi akses dengan menggunakan tag meta robot di laman pribadi.
Perhatikan bahwa meskipun Anda menggunakan berkas robots.txt untuk memblokir para spider agar tidak merayapi isi situs Anda, situs lain masih bisa tertaut ke isi situs tersebut. Akibatnya, URL laman tersebut, dan informasi yang ditampilkan seperti teks jangkar dalam tautau ke situs tersebut, atau judul dari Membuka Project Direktori, bisa tampak di hasil telusur Google. Selain itu, robot-robot yang cukup baik akan menanggapi petunjuk dalam berkas robots.txt, beberapa menafsirkannya secara berbeda. Namun, robots.txt tidak dapat dipaksakan, dan beberapa spammer dan troublemaker tidak menghiraukannya. Untuk alasan ini, kami menganjurkan informasi rahasia yang dilindungi kata sandi (lihat di atas).
Anda dapat menggunakan perangkat Menghasilkan robots.txt dalam Alat Webmaster untuk membuat berkas robots.txt, dan mengujinya dengan menggunakanMenganalisa perangkat robots.txt.
Tentang cara menggunakan robots.txt untuk mengontrol akses ke situs Anda
- Gunakan tag meta noindeks untuk mencegah isi agar tidak tampil di hasil telusur kami. Jika kami melihat adanya tag meta noindeks pada sebuah laman, Google akan menghapus laman tersebut seluruhnya dari hasil telusur kami, meskipun laman-laman lainnya tertaut padanya. Jika isi telah berada dalam indeks kami, kami akan menghapusnya setelah perayapan kami berikutnya. (Untuk melancarkan penghapusan, gunakan perangkat Hapus URL dalam Alat Webmaster Google.) Akan tetapi, mesin penelusuran lainnya mungkin masih dapat menafsirkan petunjuk ini secara berbeda. Akibatnya, tautan ke laman tersebut masih dapat ditampilkan dalam hasil telusur mereka. Karena kami harus merayapi laman Anda agar dapat melihat tag noindeksnya, kecil kesempatannya bahwa Googlebot tidak akan melihat dan mematuhi tag meta noindeks tersebut (contohnya, jika kami belum merayapi laman tersebut sejak Anda menambahkan tag).
Tentang menggunakan tag-tag meta untuk mengontrol akses ke situs Anda
Artikel Terkait:
