Robot.txt merupakan sebuah file yang berformat txt pada sebuah situs , dengan menyeting robot.txt pada blog anda dapat menontrol dan mengatur halaman mana yang boleh di index si mesin pencari. Ini merupakan salah sau optimasi SEO yang wajib anda lakukan juga.
Namun banyak diantara kita yang tidak mengetahui kegunaan dan bagaimana "Cara Setting Robot.txt Pada Blog" yang benar, karna untuk penggunaan ini anda harus lebih hati-hati untuk cara setting robot.txt jika tidak apa lagi sampai salah dalam penerapanya maka blog anda akan tidak di anggap oleh google alias tidak di index.
Pada umumnya semua blog sudah memiliki robot.txt yang diberikan oleh pihak blogger. Nah dibawah ini contoh default robot.txt pada bawaan blogger.
Use-agent: Mediapartners-Google
Disallow:
User-agent:*
Disallow:/search
Allow:/
Sitemap:Http://URLblog//feeds/posts/default?orderby=UPDATE
Disallow:
User-agent:*
Disallow:/search
Allow:/
Sitemap:Http://URLblog//feeds/posts/default?orderby=UPDATE
Arti Kode Robot.txt
Berikut ada pengertian dari kode robot.txt yang ada pada blogger
1. User-Agent: Mediapartner-Google
Artinya bahwa kode ini menandakan bahwa blog tersebut partner dari google dan penandaan ini berlaku untuk Bot Crawler/robot perayap. Kode ini juga berfungsi untuk Google Adsense untuk membantu pihak adsense menampilkan iklan yang relevan.
2. Disallow
Artinya bagi yang tidak ada diperbolehkan tidak ada yang berarti tidak ada batasan oleh crawler, memungkinkan crawler merayapi semua halaman pada situs.
3. User-Agent
Yang artinya semua robot search engine/mesin pencari. Dengan kata lain berlaku pada semua robot crawler atau mengijinkan semua crawler dari mesin pencari manapun.
4. Disallow:/Search
Tidak memperbolehkan crawler untuk menjelajahi/merayapi folder search atau yang di awali dengan Urlblog.com/search.
5. Allow
Artinya untuk memperbolehkan crawler menjelajahi situs anda, kecuali yang tertulis pada kode disallow.
6. Sitemap
Nah peintah ini untuk mempermudah crawler dalam menjelajahi situs anda, karna sitemap kan berisi semua link yang ada pada situs anda.
Baca Juga : Artikel Tidak Terindex Google Ini Penyebab Dan Cara Mengatasinya
Baca Juga : Artikel Tidak Terindex Google Ini Penyebab Dan Cara Mengatasinya
Cara Setting Robot.txt
Jika anda ingin memodifikasi atau menyeting kembali robot.txt anda dapat mengikuti langkah-langkah yang saya terakan dibawah ini. mohon dengan sangat hati-hati jika da kesalahan pengaturan akibatnya fatal malah website and tidak di index oleh search engine nantinya. Berikut cara setting robot.txt
1. Memblokir URL Yang Ingin Di Blokkir Atau Tidak Di Crawler
Namun jika anda ingin yang simple saja dan tidak kebanyakan url yang tidak dibolehkan untuk di index anda dapat mengikuti kode yang saya terakan dibawah ini. Yang artinya adalah agar crawler dapat menjelajahi semua yang ada pada situs anda
Use-agent: Mediapartners-Google
Disallow:
User-agent:*
Disallow:
Allow:/
Sitemap:Http://URLblog//feeds/posts/default?orderby=UPDATE
Disallow:
User-agent:*
Disallow:
Allow:/
Sitemap:Http://URLblog//feeds/posts/default?orderby=UPDATE
Lalu bagaimana cara menambahkan robot.txt di blogger ?
Cara Menambahkan Robot.txt Di Blogger
Untuk menambahkan robot.txt di blogger anda bisa langsung meng copy kode di atas dan menambahkan langsung pada pengaturan di blog anda.
- Login ke blog yang ingin ditambahkan robot.txt
- Klik Setelan > Preferensi Penelusuran > Robot.txt Khusus
- Klik Edit > Yes
- Lalu masukan kode yang anda inginkan
Itu lah beberapa Cara Setting Robot.txt Pada Blog yang simple saja, Karena untuk penerapan ini harus hati-hati jika tidak paham-paham sekali, takutnya yang ada web anda tidak di index sama sekali.
Jika ada yang tau tulisan saya masih ada yang salah untuk penerapan robot.txt mohon untuk benamkan d komentar agar bisa langsung saya tambahkan. Terimakasih.