Cara setting robot.txt Blogger SEO friendly. Dengan setting Robot.txt dan Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO. Bagaimana membuat Blog anda lebih SEO Friendly? Sahabat GOOGLE sudah pernah menulis artikelnya di tips seo blog untuk pemula.
Perlu anda ketahui Robots.txt secara sederhana adalah sebuah konvensi untuk memerintah web crawler / robot mesin pencari untuk menelusuri atau mencegah semua halaman atau hanya beberapa halaman dari sebuah blog/ website. Misalnya ada halaman yang tidak ingin di index dan tampilkan kepada publik pada mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut.
Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.
Setting Robot.txt Blogger
Semua blog di blogspot sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Apa arti dari semua kode di atas? berikut adalah penjelasannya:
User-agent: Mediapartners-Google ( user agent milik google menandakan bahwa blog ini adalah partner dari google )
Disallow: ( Yang tidak diperbolehkan tidak ada )
User-agent: * ( Semua robot Search Engine / mesin pencari )
Disallow: /search ( Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated... )
Allow: / ( Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda [ / ]kurang lebih artinya nama blog )
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED ( sitemap atau alamat feed blog )
Jika anda ingin memodifikasinya robot txt contohnya adalah sepeti Cara Setting Robot.txt petama dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Arti konfigurasi di atas adalah semua artikel dan halaman di blog anda akan di index robot webcraw karena pada kode Disallow semuanya di kosongkan. Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus /search pada kode Disallow: /search ( Disallow: /search : seperti ..../search/label dan ... search/search?updated...) untuk membolehkan robot crawler mengindex semua halaman, kita bisa meng editnya lagi menggunakan settingan robot text kedua dengan konfigurasi seperti berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Kembali ke settingan default atau bawaan robot txt blogspot. Jika anda ingin memblokir halaman tertentu anda tinggal menambahakan url halaman yang ingin anda blokir di belakang Disallow. Contohnya untuk memblok robot di halaman misalnya halaman About, maka contoh penulisan robot.txt adalah seperti seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated
Nah berikut ini adalah Settingan robot.txt untuk mencegah duplikat konten atau judul di blog, khususnya duplikat konten yang terjadi karena website/blog diakses dari mobile phone mungkin anda dapat mencobah settingan robot txt ketiga dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED
Itulah cara mengaktifkan Robot.txt yg Baik dan Benar dan yg penting tidak Fatal akibatnya.
Untuk Setting Robot Tag silahkan ikuti Aturannya sesuka kamu! Triknya jika kamu mencentangnya berarti kamu mengaktifkan Perintah tersebut. Misalnya "NoImage" berarti Anda tidak mau Gambar anda Muncul di Kategori tersebut.
Catatan : Hati2 jangan sampai salah bisa anda di abaikan di Mesin Pencari...
Sekian dan Terimakasih...
