GeegleHayoO - Cara Tambah Kustom File Robots.txt di Blogger
Chakly harap kalian sadar dengan pentingnya ini sebagai peringkat kamu di mesin pencarian.
Hari ini, Chakly kembali dengan istilah blogging dan sangat menyadari pentingnya Robot.txt untuk Blog kita.
Di blogger, ini dikenal sebagai Kustom Robots.txt itu berarti sekarang Kamu bisa menyesuaikan file ini sesuai dengan pilihan Kamu. Dalam tutorial hari ini, kita akan membahas istilah ini secara mendalam untuk mengetahui tentang penggunaan dan manfaatnya. Chakly juga akan memberitahu Kamu bagaimana caranya untuk menambahkan file kustom robots.txt di blogger.
Jadi mari mulai aja tutorialnya.
Apa Sih Robot.txt itu?"
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini ditanam di website atau server blog yang menginstruksikan web crawler untuk bagaimana Pengindekan/Perayapan blog Kamu dalam hasil pencarian. Itu berarti Kamu dapat membatasi halaman web di blog Kamu dari crawler web, Sehingga tidak bisa mendapatkan diindeks sesuatu yg tidak penting di mesin pencari seperti halaman label blog Kamu, halaman Tentang Kamu atau halaman lainnya. Untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merayapi halaman web. Jadi seperti yg terjadi di film aksi dengan Dialog ini "Langkahi dulu Mayatku" hahahh mengerti?
Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User agent: *
Disallow: / search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan:
Kode ini dibagi menjadi tiga bagian. Mari ke studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.
User-agent: Mediapartners-Google
Kode ini adalah untuk robot Adsense Google yang membantu mereka untuk melayani iklan yang lebih baik di blog Kamu. Entah Kamu menggunakan Google Adsense di blog Kamu atau tidak hanya meninggalkannya seperti itu.
2. User agent: *
Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*).
User-agent: * ini menandakan blog kawan bisa di crawler oleh semua mesin telusur, tetapi sangat penting untuk mencegah jingling/robot jahat yg terus menerus menyerang blog kita, dan bakal meledakan visitor persekian detik.. namun sayangnya ini adalah visitor robot bukan manusia atau mahluk gaib yg bakal menaikan trafik dan tingkat seo, ini justru sebaliknya teknik jingling ini bakal menyebabkan blog kawan susah di akses oleh pengunjung manusia. jadi kita sebagai blogger musti mencegahnya dengan cara khusus untuk menangani jingling ini, nah bagai mana untuk mencegahnya?.. silahkan kawan ganti user-agent default kawan dengan ini
User-agent: Googlebot
User-agent: Bingbot
Menurut chakly kedua Mesin pencari di atas sudah sangat cukup sekali untuk blog kawan, silahkan tambahkan lainnya jika kawan menginginkanya, yg penting jangan di biarkan User-agent telanjang bulat.
Jadi hasil akhirnya kayak ini
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
User-agent: Bingbot
Disallow: /search
Disallow: / p/kontak-kami.html
Disallow: / p/tentang.html
Allow: /
Sitemap: http://
buatseodi.blogspot.co.id /feeds/posts/default?orderby=UPDATED
*Tanda merah silahkan di ganti.
Nah kode Robot.txt di atas sudah sangat SEO FRIENDLY kawan.. ^_^
Disallow: / Digunakan untuk mencegah atau melarang laman/halaman tertentu pada suatu blog
Allow:/ adalah kebalikannya dari Disallow:/ ini berfungsi untuk mengcrawler semua isi blog keuali yg di larang pada setingan Disallow:/
Cara Mengaktifkan dan Mengatur Tag Tajuk Robot Khusus
Pada bagian Tag tajuk robot khusus silahkan di aktifkan pilih YA
Bagian Beranda pilih ALL
Laman Arsip dan Penelusuran pilih semua kecuali ALL dan unavailable_after
Default untuk Pos dan Laman pilih ALL
Simpan Perubahan
Lebih jelasnya silahkan contoh gambar si bawah ini
Bagian Beranda di centang "ALL" berfungsi untuk mengindex semua khususnya halaman beranda
Laman Arsip dan Penelusuran di centang semua kecuali "ALL" maksudnya adalah mencegah mesin pencari untuk mengindex arsip blog
Default untuk Pos dan Laman di centang "ALL" berfungi untuk mengindex pos dan laman yg aktif
Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks halaman label link kita karena kode di bawah ini.
Disallow: / Search
Itu berarti link memiliki kata kunci
pencarian setelah nama domain maka akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
https://chaklyraflesia.blogspot.com/
search / label / SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merayapi semua konten dan halaman web-nya tanpa ampun hahahh.
Berikut...
Allow: /
mengacu pada Homepage yang berarti web crawler bisa mengobrak dan index homepage blog kita.
Larangan khusus bagi Posting
Sekarang jika kita mengira ingin mengecualikan pos tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.
Disallow: /yyyy/mm/post-url.html
Berikut yyyy dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Misalnya jika kita telah menerbitkan sebuah posting pada tahun 2012 di bulan Maret maka kita harus menggunakan kode seperti dibawah:
Disallow: /2013/03/post-url.html
Untuk membuat tugas ini mudah, Kamu hanya dapat menyalin URL posting dan menghapus nama blognya dari awal.
Larangan Khusus Bagi Halaman
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:
Disallow: /p/page-url.html
Atur Juga Peta Situs
Sitemap: https://chaklyraflesia.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap di sini kita hanya mengoptimalkan tingkat perayapan di blog kita. Berarti setiap kali web crawler memindai file robots.txt kita, Dia akan menemukan jalan untuk sitemap kita di mana semua link dari postingan kita diterbitkan hadir. web crawler akan merasa mudah untuk merayapi semua postingan kita.
Oleh karena itu, ada kemungkinan baik bahwa web crawler merayapi semua postingan blog kita tanpa mengabaikan satu pun. Insya Allah...
Mohon di Catat: Sitemap ini hanya akan memberitahu web crawler tentang baru-baru ini sebanyak 25 posting saha. Jika Kamu ingin meningkatkan jumlah link dalam sitemap Kamu kemudian mengganti sitemap default dengan di bawah satu.
Ia akan bekerja untuk pertama 500 posting terbaru.
Sitemap: http://chaklyraflesia.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Ganti URL with URL Blog Kamu.
Jika Kamu memiliki lebih dari 500 posting diterbitkan di blog Kamu maka Kamu dapat menggunakan dua peta situs seperti di bawah ini:
Sitemap: https://chaklyraflesia.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://chaklyraflesia.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Ganti URL dengan Blog Kamu
Menambahkan Kustom robots.txt untuk Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.
1. Pergi ke blog blogger Kamu.
2. Arahkan ke Settings >> Cari Preferences >> Crawlers dan pengindeksan >> Kustom robots.txt >> Sunting >> Ya
3. Sekarang paste kode file robots.txt Kamu dalam kotak.
4. Klik tombol Save Changes.
5. Kamu selesai!
Bagaimana Memeriksa Robot.txt Yang Berfungsi Di Blog?"
Kamu bisa memeriksa file ini di blog Kamu dengan menambahkan robots.txt akhirnya ke URL blog Kamu di browser. Lihatlah contoh di bawah ini untuk demo.
https://chaklyraflesia.blogspot.com/robots.txt
Setelah Kamu mengunjungi URL file robots.txt Kamu akan melihat seluruh kode yang Kamu gunakan dalam file robots.txt kustom Kamu.
Kata-kata Terakhir!
Ini adalah tutorial lengkap hari ini tentang cara menambahkan file kustom robots.txt di blogger.
Aku benar-benar mencoba dengan hati chakly yg sangat tenang untuk membuat tutorial ini sebagai hal yg sederhana dan informatif [mungkin]. Tapi tetap, Jika Kamu memiliki Keraguan atau query maka jangan ragu untuk bertanya kepada saya...
Jangan menaruh kode di pengaturan robots.txt kustom Kamu tanpa mengetahui tentang hal itu. Hanya meminta kepada saya untuk menyelesaikan permintaan Kamu. Saya akan memberitahu Kamu segala sesuatu secara rinci. Thanks guys untuk membaca tutorial ini. Jika Kamu suka maka silakan mendukung Chakly untuk menyebarkan kata-kata dari Postingan saya ini dengan berbagi posting ini di profil media sosial Kamu. Salam Cinta...