Blogger: Cara Set-Up Custom Robots.txt Dan Robots Header

Pada artikel yang lalu saya sudah membahas tentang robots.txt mulai dari cara membuat hingga kaitannya dengan SEO (Search Engine Optimization) atau dalam bahasa indonesia di sebut dengan istilah pegoptimalan mesin telusur. Dan sekarang di artikel ini saya akan jelsakan cara setting custom robots.txt dan custom robots header (X-Robots-Tag).

Sebenarnya robots.txt dan tag robots header memiliki kesamaan fungsi yaitu untuk mengontrol perayapan dan pengindeksan di situs web/blog anda.

Tetapi dari sisi penerapan dan detail instruksi pada kedua jenis robots berbeda, file robots.txt dipasang di root domain, sedangkan tag robots header dipasang di head situs, juga ditargetkan ke url (halaman) yang tepat jika blog anda tidak di host blogger.com.

Sedangkan untuk detail instruksi robots header atau X-Robots-Tag memiliki lebih banyak mode perintah (intruksi) dibandingkan dengan robots.txt.

Apakah Harus Menggunakan Keduanya

Dalam penggunaan robots.txt dan tag robots header tidak ada kewajiban dan larangan untuk menggunakan keduanya, tetapi jika kamu menggunakan keduanya (custom robots.txt dan custom robots header tags) dan tidak di set-up dengan benar salah satu diantaranya beresiko diabaikan oleh crawler (robot web) mesin telusur. [ads id="ads1"]

Contoh:

Coba perhatikan file robots.txt berikut, ini adalah format file robots.txt khusus untuk mengizinkan semua robot web merayapi dan mengindeks semua halaman (url) di situs web terkecuali url penelusuran (search).

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://bloganda.blogspot.com/sitemap.xml

Jika kamu telah menggunakan file robots.txt dengan format yang saya contoh diatas maka tidak ada gunanya men-double instruksi yang sama nofollow bahkan instruksi berlawanan follow dengan menggunakan tag robots header kerena crawler cenderung tidak bisa melihat tag robots header pada url /search yang telah diblokir oleh robots.txt.

Seperti yang dikatakan oleh google pada artikel mereka tentang pemblokiran pengindeksan halaman (crawling dan indexing).

Jadi untuk menghindari hal tersebut saya akan menjelaskan cara menggunakan custom robots.txt dan custom robots header tags yang baik dan benar di situs web blogger (blogspot).

Cara Setting Custom Robots.txt

Aktifkan pengaturan custom robots.txt blog anda melalui dashboard blogger kemudian isi/gunakan file robots.txt di bawah ini.

User-agent: *

Allow: /

Sitemap: https://bloganda.blogspot.com/sitemap.xml

Custom robots.txt di atas mengisyaratkan bahwa semua robot web (google, bing dan lainnya) dapat mengakses semua halaman di situs web/atau blog anda (belum ada pemblokiran).

Jika kamu pemula di blogspot, ikuti langkah-langkah mengaktifkan custom robots.txt berikut ini.

1. Masuk ke Blogger
2. Klik Settings
3. Gulir kebagian Crawlers and indexing
4. Klik tombol Enable custom robots.txt
5. Klik Custom robots.txt
6. Isi file robots.txt anda, kemudian
7. Klik Save untuk menyimpan pengaturan

Cara Setting Custom robots header tags

1. Masuk ke Blogger
2. Klik Settings
3. Gulir kebagian Crawlers and indexing
4. Aktifkan custom robots header tags
5. Klik Archive and search page tags
6. Pilih noindex
7. Klik Save untuk menyimpan pengaturan

Kedua pengaturan yaitu custom robots.txt dan custom robots header tags bertujuan agar robot web terutama crawler google dapat melihat tag noindex pada url (halaman) arsip dan penelusuran.

Jika kamu menambahkan Disallow: /search ke dalam file robots.txt, kemungkinan besar crawler tidak dapat melihat tag robots header yang diterapkan pada halaman arsip dan penelusuran di blog anda.

Pengaturan Robots Header Untuk Halaman Home, Post Dan Page

Secara default googlebot merayapi dan mengindeks semua halaman di situs web jika tidak diblokir oleh robots.txt dan robots header, jadi penambahan atau pengaktifan custom robots header tags untuk home page, post dan page tidak diperlukan.

Jika tetap ingin mengaktifkan custom robots header tags untuk home page, post dan page centang/pilih All saja sebagai tanda atau perintah kepada bot mesin pencari bahwa tidak ada batas perayapan dan pengindeksan untuk url home page, post gan page.

Kenapa harus memblokir halaman arsip dan penelusuran?

Halaman arsip dan halaman penelusuran (search page) bukan merupakan halaman penting di situs web/blog untuk dirayapi dan diindeks oleh crawler google.

Jika tidak diblokir dari perayapan dan pengindeksan maka akan dibutuhkan banyak waktu oleh robot web untuk merayapi dan mengindeks halaman konten yang diutamakan (halaman postingan) di situs web anda. Dengan adanya blokade (tag noindex) dari robots header, perayapan dan pengindeksan halaman konten utama di situs web akan menjadi lebih cepat.

Selain itu meblokir halaman yang tidak penting di situs web bertujuan untuk menghindari beban situs web dari dampak perayapan oleh bot mesin pencari karena permintaan perayapan yang terlalu banyak.

Penutup

File robots.txt pada dasarnya digunakan untuk mengelola traffic crawler ke situs web agar tidak terbebani, meskipun demikian robots.txt bukan mekanisme untuk menyembunyikan halaman web dari bot mesin pencari, untuk menyembunyikan halaman dari bot mesin pencari gunakan perintah noindex menggunakan tag robots header.