Blogger: Cara Set-Up Custom Robots.txt Dan Robots Header

Pada artikel yang lalu saya sudah membahas tentang robots.txt mulai dari cara membuat hingga kaitannya dengan SEO (Search Engine Optimization) atau dalam bahasa indonesia di sebut dengan istilah pegoptimalan mesin telusur. Dan sekarang di artikel ini saya akan jelsakan cara setting custom robots.txt dan custom robots header (X-Robots-Tag).

Sebenarnya robots.txt dan tag robots header memiliki kesamaan fungsi yaitu untuk mengontrol perayapan dan pengindeksan di situs web/blog anda.

Tetapi dari sisi penerapan dan detail instruksi pada kedua jenis robots berbeda, file robots.txt dipasang di root domain, sedangkan tag robots header dipasang di head situs, juga ditargetkan ke url (halaman) yang tepat jika blog anda tidak di host blogger.com.

Sedangkan untuk detail instruksi robots header atau X-Robots-Tag memiliki lebih banyak mode perintah (intruksi) dibandingkan dengan robots.txt.
Cara setting custom robots.txt dan custom robots header di blogspot

Apakah Harus Menggunakan Keduanya

Dalam penggunaan robots.txt dan tag robots header tidak ada kewajiban dan larangan untuk menggunakan keduanya, tetapi jika kamu menggunakan keduanya (custom robots.txt dan custom robots header tags) dan tidak di set-up dengan benar salah satu diantaranya beresiko diabaikan oleh crawler (robot web) mesin telusur. [ads id="ads1"]

Contoh:

Coba perhatikan file robots.txt berikut, ini adalah format file robots.txt khusus untuk mengizinkan semua robot web merayapi dan mengindeks semua halaman (url) di situs web terkecuali url penelusuran (search). 
User-agent: *

Disallow: /search

Allow: /

Sitemap: https://bloganda.blogspot.com/sitemap.xml
Jika kamu telah menggunakan file robots.txt dengan format yang saya contoh diatas maka tidak ada gunanya men-double instruksi yang sama nofollow bahkan instruksi berlawanan follow dengan menggunakan tag robots header kerena crawler cenderung tidak bisa melihat tag robots header pada url /search yang telah diblokir oleh robots.txt.

Seperti yang dikatakan oleh google pada artikel mereka tentang pemblokiran pengindeksan halaman (crawling dan indexing).
Referensi Dari Google
Jadi untuk menghindari hal tersebut saya akan menjelaskan cara menggunakan custom robots.txt dan custom robots header tags yang baik dan benar di situs web blogger (blogspot).

Cara Setting Custom Robots.txt

Aktifkan pengaturan custom robots.txt blog anda melalui dashboard blogger kemudian isi/gunakan file robots.txt di bawah ini. 
User-agent: *

Allow: /

Sitemap: https://bloganda.blogspot.com/sitemap.xml
Custom robots.txt di atas mengisyaratkan bahwa semua robot web (google, bing dan lainnya) dapat mengakses semua halaman di situs web/atau blog anda (belum ada pemblokiran).

Jika kamu pemula di blogspot, ikuti langkah-langkah mengaktifkan custom robots.txt berikut ini.
  1. Masuk ke Blogger
  2. Klik Settings
  3. Gulir kebagian Crawlers and indexing
  4. Klik tombol Enable custom robots.txt
  5. Klik Custom robots.txt
  6. Isi file robots.txt anda, kemudian
  7. Klik Save untuk menyimpan pengaturan

Cara Setting Custom robots header tags

  1. Masuk ke Blogger
  2. Klik Settings
  3. Gulir kebagian Crawlers and indexing
  4. Aktifkan custom robots header tags
  5. Klik Archive and search page tags
  6. Pilih noindex
  7. Klik Save untuk menyimpan pengaturan
Kedua pengaturan yaitu custom robots.txt dan custom robots header tags bertujuan agar robot web terutama crawler google dapat melihat tag noindex pada url (halaman) arsip dan penelusuran.

Jika kamu menambahkan Disallow: /search ke dalam file robots.txt, kemungkinan besar crawler tidak dapat melihat tag robots header yang diterapkan pada halaman arsip dan penelusuran di blog anda.

Pengaturan Robots Header Untuk Halaman Home, Post Dan Page

Secara default googlebot merayapi dan mengindeks semua halaman di situs web jika tidak diblokir oleh robots.txt dan robots header, jadi penambahan atau pengaktifan custom robots header tags untuk home page, post dan page tidak diperlukan.

Jika tetap ingin mengaktifkan custom robots header tags untuk home page, post dan page centang/pilih All saja sebagai tanda atau perintah kepada bot mesin pencari bahwa tidak ada batas perayapan dan pengindeksan untuk url home page, post gan page.

Kenapa harus memblokir halaman arsip dan penelusuran?

Halaman arsip dan halaman penelusuran (search page) bukan merupakan halaman penting di situs web/blog untuk dirayapi dan diindeks oleh crawler google.

Jika tidak diblokir dari perayapan dan pengindeksan maka akan dibutuhkan banyak waktu oleh robot web untuk merayapi dan mengindeks halaman konten yang diutamakan (halaman postingan) di situs web anda. Dengan adanya blokade (tag noindex) dari robots header, perayapan dan pengindeksan halaman konten utama di situs web akan menjadi lebih cepat.

Selain itu meblokir halaman yang tidak penting di situs web bertujuan untuk menghindari beban situs web dari dampak perayapan oleh bot mesin pencari karena permintaan perayapan yang terlalu banyak.

Penutup

File robots.txt pada dasarnya digunakan untuk mengelola traffic crawler ke situs web agar tidak terbebani, meskipun demikian robots.txt bukan mekanisme untuk menyembunyikan halaman web dari bot mesin pencari, untuk menyembunyikan halaman dari bot mesin pencari gunakan perintah noindex menggunakan tag robots header.

Komentar

Posting Komentar

Postingan populer dari blog ini

Cara Mengatasi URL Yang Dikecualikan (Discovered-Currently Not Indexed Status)

Gambar
Tahukah kamu apa itu " Discovered currently not indexed " dengan status " Excluded "? Discovered currently not indexed maksudnya adalah halaman (url) sudah ditemukan oleh google tetapi belum di-crawl, sedangkan status excluded adalah status url yang masuk dalam ketegori pengecualian atau di kecualikan. Biasanya halaman ( url ) yang dikecualikan juga tidak diindeks oleh google karena menurut google halaman (url) merupakan duplikat dari halaman yang diindeks, atau diblokir dari pengindeksan oleh beberapa mekanisme di situs web itu sendiri. Jika tag canonical url di terapkan dengan benar beberapa url atau halaman di situs web akan dikecualikan oleh crawler google, biasanya halaman yang dikecualikan merupakan halaman (url) yang memang tidak penting untuk diindeks seperi url ?m=1, ?m=0 dan /search. Pengecualian pada yang url seperti itu baik untuk situs web, dengan begitu url (halaman) duplikat akan terjaring kedalam keranjang pengecualian di search console. [ads id=...
Baca selengkapnya

Cara Mengatasi Render Blocking Resources Dari Template Blogger

Gambar
Cara Mengatasi Render-blocking resources -  Sedikitnya ada dua jenis resources pada template blogger yang menyebabkan bloking first paint pada halaman blog. Yang pertama resources yang berasal dari platform blogger (resources default) yang biasa kita sebut dengan bundle css blogger dan resources pihak ketiga (3rd party) seperti bundle css fontawesome dan library javascript. Kedua jenis resources (bundle css/js) tersebut sebenarnya bukan hal buruk untuk situs blog, kita hanya perlu memuatnya secara tidak sinkron (asynchron) jika memungkinkan, Dan khusus untuk bundle css/js bawaan blogger langkah terbaik saat ini untuk mengatasinya adalah adalah dengan menonaktifka-nya. Karena sangat tidak mungkin untuk memodifikasi kode tersebut. Dampak Negatif Render-Blocking Resources [ads id="ads1"] Yang paling nyata dampak negatif render-blocking resources adalah (bloking first paint) yaitu ketika browser memuat halaman blog yang pertama kali terlihat adalah layar putih, di butuhkan waktu...
Baca selengkapnya

Cara Mendaftarkan Blog Ke Google Adsense (Panduan Terupdate)

Gambar
Google adsense menjadi terget utama kebanyakan blogger di dunia, pasalnya google adsense memberikan penghasilan kepada konten kreator melalui monetisasi konten blog dengan iklan adsense. Oleh karena itu bagi kamu yang baru saja memulai blogging khususnya yang ngeblog di platform blogger saya akan menunjukkan cara mendaftarkan blog anda ke google adsense agar dapat dimonetisasi dengan iklan adsense. Tapi sebelumnya harap perhatikan dan terapkan beberapa poin di bawah ini agar blog anda dapat dimonetisasi dengan iklan adsense. Syarat Agar Blog Diterima Adsense Untuk Monetisasi Daftarkan blog anda ke google adsense jika sudah rampung. Pastikan konten blog tidak berisi konten dewasa dan perjudian. Buat navigasi yang relevan dengan konten dan niche blog. Pastikan blog memiliki trafik organik. [ads id="ads1"] Jika ke empat poin di atas yang menjadi syarat kelayakan situs (blog) untuk dimonetisasi dengan iklan adsense sudah dipenuhi oleh blog anda maka blog sudah siap untuk didaftar...
Baca selengkapnya