Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.

File robots.txt berisi aturan dengan sintaks sebagai berikut:

• User-Agent: nama robots
• Disallow: halaman web yang akan diblok

Nah, jika kita ingin memblok semua Web Robots (tidak hanya Googlebot), gunakan tanda bintang (*) seperti berikut:

User-Agent: *

Baris Disallow digunakan untuk menentukan nama dokumen web yang akan diblok. Entri tersebut harus diawali dengan tanda garis miring (/). Kita bisa mendefinisikan beberapa baris Disallow sekaligus dalam file robots.txt.

Berikut ini contoh penggunaannya:

1. Memblok seluruh isi situs

User-Agent: *
Disallow: /

2. Memblok direktori tertentu

User-Agent: *
Disallow: /direktori1/
Disallow: /direktori2/

3. Memblok halaman web tertentu

User-Agent: *
Disallow: /halaman-web.html

4. Memblok spider tertentu

User-Agent: Googlebot
Disallow: /

Selain dengan file robots.txt, kita juga bisa membatasi akses Googlebot dengan cara meletakkan META TAG dengan sintaks tertentu pada bagian HEAD di dokumen web kita.

Contohnya adalah sebagai berikut:

1. Googlebot tidak boleh mengindeks halaman web dan menelusuri link yang ada di situ

<meta name="robots" content="noindex, nofollow" />

2. Googlebot boleh mengindeks halaman web tapi tidak boleh menelusuri link yang ada disitu

<meta name="robots" content="index, nofollow" />

CATATAN:

• Atribut name bisa diisi “robots” atau nama robot tertentu
• Atribut content bisa berupa index, noindex, follow, atau nofollow

Selamat mencoba 😀

thanks to bro wahyu