Cara mengaktifkan Custom robots.txt yang baik. Mungkin teman semua sudah tidak abnormal lagi dengan yang namanya Custom robots.txt, dengan mensetting Custom robots.txt maka hal tersebut bertujuan biar blog kita mudah dikenal oleh Robot search engine, jikalau gampang dikenal maka gampang di-crawl alias dirayapi, yang nantinya akan membantu blog kita ter-index di search engine dengan baik.
Warning:
Pengaturan Custom robots.txt yang baik dan benar akan membantu blog teman terindex dengan baik pula, namun salah dalam penyetingan akan berakibat fatal alias jelek untuk blog sobat. So let's try this Custom robots.txt out!
Cara setting Custom robots.txt yang baik dan benar:
1. Login ke blogger
2. Pilih hidangan setting => Search preferences
3. lihat ke hidangan Crawlers and indexing, klik edit pada Custom robots.txt
4. Isi pada kotak kosong dengan text berikut (jangan lupa centang yes pada Enable custom robots.txt content?):
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.muhbalak.com/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.muhbalak.com/feeds/posts/default?orderby=UPDATED
NB:
Ganti muhbalak.com dengan alamat blog/web sobat
5. Klik Save Changes, selesai.
Sekarang Custom robots.txt blog teman telah aktif. Semoga bermanfaat