Anda hanya memerlukan file robots.txt jika situs Anda menyertakan konten yang tidak ingin Anda sertakan dalam pengindeksan oleh mesin telusur. Jka Anda ingin mesin telusur mengideks semuanya dalam situs Anda, maka Anda tidak memerlukan file robots.txt (bahkan file yang kosong).
Meskipun Google tidak merayapi atau mengindeks konten laman yang diblokir robots.txt, kami mungkin masih mengindeks URL jika kami menemukannya di laman lain di web. Oleh karena itu, URL laman dan, kemungkinan, informasi yang tersedia secara umum lainnya seperti kata kunci pada tautan ke situs, atau judul dari Open Directory Project (www.dmoz.org), dapat muncul dalam hasil telusur Google. Akan tetapi, tidak ada konten dari laman Anda yang akan ditelusuri, diindeks, atau ditampilkan.
Untuk menggunakan file robots.txt, Anda membutuhkan akses ke root domain Anda (jika tidak yakin, hubungi hoster web Anda). Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses menggunakan meta tag robot.
Untuk benar-benar mencegah isi laman didaftar di dalam indeks web Google bahkan jika situs lain tertaut pada laman tersebut, gunakanlah tag meta noindex. Sewaktu Selama Googlebot mengambil laman tersebut, Googlebot akan melihat tag meta noindex tersebut dan mencegah laman tersebut ditampilkan di indeks web. Indeks web Google juga dapat membuat pemakaian "Noindex:" dalam sebuah berkas robots.txt untuk mencegah sebuah tautan url yang tidak dirayapi, bahkan sebuah referensi, muncul di hasil telusur web kami.