{"id":47,"date":"2009-03-23T16:45:46","date_gmt":"2009-03-23T09:45:46","guid":{"rendered":"http:\/\/gilangpratama.blog.binusian.org\/?p=47"},"modified":"2009-03-23T16:54:47","modified_gmt":"2009-03-23T09:54:47","slug":"mengatasi-googlebot","status":"publish","type":"post","link":"https:\/\/gilangpratama.blog.binusian.org\/?p=47","title":{"rendered":"Mengatasi Googlebot"},"content":{"rendered":"<div class=\"entry\">\n<p><strong>Googlebot<\/strong> adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.<\/p>\n<p>File robots.txt berisi aturan dengan sintaks sebagai berikut:<\/p>\n<ul>\n<li>User-Agent: nama robots<\/li>\n<li>Disallow: halaman web yang akan diblok<\/li>\n<\/ul>\n<p>Nah, jika kita ingin memblok semua Web Robots (tidak hanya Googlebot), gunakan tanda bintang (*) seperti berikut:<\/p>\n<pre>User-Agent: *<\/pre>\n<p>Baris Disallow digunakan untuk menentukan nama dokumen web yang akan diblok. Entri tersebut harus diawali dengan tanda garis miring (\/). Kita bisa mendefinisikan beberapa baris Disallow sekaligus dalam file robots.txt.<\/p>\n<p>Berikut ini contoh penggunaannya:<\/p>\n<p>1. Memblok seluruh isi situs<\/p>\n<pre>User-Agent: *\r\nDisallow: \/<\/pre>\n<p>2. Memblok direktori tertentu<\/p>\n<pre>User-Agent: *\r\nDisallow: \/direktori1\/\r\nDisallow: \/direktori2\/<\/pre>\n<p>3. Memblok halaman web tertentu<\/p>\n<pre>User-Agent: *\r\nDisallow: \/halaman-web.html<\/pre>\n<p>4. Memblok spider tertentu<\/p>\n<pre>User-Agent: Googlebot\r\nDisallow: \/<\/pre>\n<p>Selain dengan file robots.txt, kita juga bisa membatasi akses Googlebot dengan cara meletakkan META TAG dengan sintaks tertentu pada bagian HEAD di dokumen web kita.<\/p>\n<p>Contohnya adalah sebagai berikut:<\/p>\n<p>1. Googlebot tidak boleh mengindeks halaman web dan menelusuri link yang ada di situ<\/p>\n<pre>&lt;meta name=\"robots\" content=\"noindex, nofollow\" \/&gt;<\/pre>\n<p>2. Googlebot boleh mengindeks halaman web tapi tidak boleh menelusuri link yang ada disitu<\/p>\n<pre>&lt;meta name=\"robots\" content=\"index, nofollow\" \/&gt;<\/pre>\n<p><strong>CATATAN:<\/strong><\/p>\n<ul>\n<li>Atribut name bisa diisi \u201crobots\u201d atau nama robot tertentu<\/li>\n<li>Atribut content bisa berupa index, noindex, follow, atau nofollow<\/li>\n<\/ul>\n<p>Selamat mencoba \ud83d\ude00<\/p>\n<p>thanks to bro wahyu<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"<p>Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag. File robots.txt berisi aturan dengan sintaks sebagai berikut: User-Agent: nama robots Disallow: halaman web yang akan [&hellip;]<\/p>\n","protected":false},"author":502,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[117],"tags":[],"class_list":["post-47","post","type-post","status-publish","format-standard","hentry","category-information-technology"],"_links":{"self":[{"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/posts\/47","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/users\/502"}],"replies":[{"embeddable":true,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=47"}],"version-history":[{"count":7,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/posts\/47\/revisions"}],"predecessor-version":[{"id":58,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=\/wp\/v2\/posts\/47\/revisions\/58"}],"wp:attachment":[{"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=47"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=47"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/gilangpratama.blog.binusian.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=47"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}