Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot
web lain.,dari pengaksesan seluruh atau sebagian situs web. Robot txt
berfungsi sebagai mengontrol halaman-halaman tertentu agar tidak di
indeks oleh spider mesin pencari,atau situs jejaring sosial seperti
facebook,twitter,youtube,dll. Pada penyetingan robots txt kita harus
hati-hati dalam penyetingannya. jika tidak blog anda atau websitepun
bisa terabaikan oleh spider mesin pencari.
Untuk cara mensetting robots txt khusus silahkan ikuti caranya dibawah ini:
1. Login ke Blogger
2. Klik Setelan
3. Klik Preferensi Penelusuran.
4. Klik Robots txt khusus
5. Klik Aktifkan.
6. Selanjutnya copy dan masukkan kodenya dibawah di dalam Robots txt khusus
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://seosc.blogspot.com/feeds/posts/default?orderby=updated
- ganti seosc dengan url anda.
7. Selanjutnya mengaktifkan Tag tajuk robot khusus.
8. Klik aktifkan dan samakan seperti gambar dibawah ini.
9. Klik simpan perubahan.
Hanya itu yang dapat saya berikan tentang cara mengaktifakan settingan txt khusus blogger
Sumber :