Cara Memasang Robots.txt di Blog - Sebelum kita memasang Robots.txt di blog kita harus tahu terlebih dahulu fungsi dari robots.txt ini. Fungsi secara singkat robots.txt adalah sebuah script robot yang dikhususkan untuk robots search engine melakukan crawl suatu web blog. Jika ingin jelasnya fungsi dan manfaat dari robots.txt ini bisa baca artikel saya Fungsi Robots.txt.
Kita bisa mengecek robots.txt milik web blog lain seperti google, yahoo, facebook dengan cara memberi URL di belakang alamat web blog tersebut. Contoh: http://sayamanusiagaptek.blogspot.sg//robots.txt.
Cara Memasang Robots.txt di blog:
1. Login ke blogger.com
2. Menuju ke menu settings atau pengaturan
3. Klik Search Preferences
4. Pilih Custom robots.txt
5. Lalu klik Edit dan pilih Yes
6. Isi dengan Script Robots.txt yang telah dibuat
Seperti ini scriptnya:
User-agent: Googlebot
Disallow: /?m=1
Disallow: /?m=0
Disallow: /search
Disallow: /*archive.html
User-agent: *
Disallow: /?m=1
Disallow: /?m=0
Disallow: /search
Disallow: /archive.html
Sitemap: http://aikonmedia.blogspot.com/atom.xmlNote: Ganti yang saya beri warna merah dengan alamat web blog kamu.
Sitemap: http://aikonmedia.blogspot.com/feeds/posts/default
Sitemap: http://aikonmedia.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: http://aikonmedia.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
7. Simpan atau Save
EmoticonEmoticon