Cara setting Robots.txt yang baik dan benar

Pengertian Robots.txt

File robots.txt merupakan komponen dari protokol pengecualian robot atau biasa disebut dengan Robots Exclusion Protocol, yaitu sekelompok standar situs yang mengontrol bagaimana robot meng crawl atau melakukan perayapan terhadap content situs, Robots exclusion protokol juga meliputi robot meta, petunjuk halaman, subdirektori, atau keseluruhan halaman situs sebagaimana mestinya search engine akan bekerja.



Jadi Robots.txt ialah file teks yang diciptakan oleh pembuat situs yang bertujuan untuk menginstruksikan robot mesin telusur guna merayapi halaman situs. Didalam praktek penerapan Robots.txt menunjukkan apakah agen pengguna perangkat lunak tertentu dapat merayapi halaman situs, hasil perayapan tersebut sangat bergantung pada bagaimana kita melakukan setting pada robots.txt, apakah "melarang" atau "mengizinkan" terhadap perilaku agen tertentu atau seluruhnya, maka dari itu kita harus hati- hati dalam melakukan setting terhadap Robots.txt, jika terjadi kesalahan akan berdampak buruk pada situs yang anda miliki.

Cara setting Robots.txt yang baik dan benar

 

Didalam platform blogspot secara default robots.txt telah tersedia, namun karna banyaknya pengguna blogger pastinya punya trik - trik tersendiri untuk memaksimalkan kualitas SEO terhadap situs yang ia miliki. berikut ini adalah merupakan contoh tampilan robots.txt blogspot secara default;

• User-agent: Mediapartners-Google
• Disallow:
• User-agent: *
• Disallow:/search
• Sitemap: http://www.tujuwan.com/sitemap.xml

Tampilan default Robots.txt diatas memiliki arti sebagai berikut;

 

• User-agent: Mediapartners-Google
  sintaks ini berarti bahwa agen pengguna memberitahukan bahwa blog ini partner dari Google, kode tersebut juga biasa dipake oleh para blogger untuk membantu mereka dalam menampilkan iklan yang sesuai dengan konten halaman blog.
• Disallow:
  sintaks ini akan memberitahu kepada perayap mesin telusur untuk merayapi semua content halaman yang ada di situs anda (mengizinkan semua halaman untuk dirayapi)
• User-agent: *
  Sintaks ini akan membetitahukan kepada perayap mesin telusur untuk merayapi semua conten termasuk beranda.
• Disallow:/search
  Sintaks ini akan memberitahukan kepada search engine Google untuk tidak melakukan perayapan terhadap halaman yang yang berisi string url subfolder atau labels
• Sitemap: http://www.tujuwan.com/sitemap.xml
  Sintaks ini akan memberitahu mesin telusur untuk merayapi file sitemap.

Cara setting Robots.txt yang baik dan benar

 

Langkah-langkah untuk melakukan setting pada robots txt adalah sebagai berikut; yang pertama anda harus masuk ke akun blogger yang akan anda customisasi setting-an robots.txt-nya, setelah itu anda menuju ke menu Dashboard blog > lalu anda pilih Setelan > Preferensi > selanjutnya anda pilih Aktifkan > lalu isikan kotak yang telah tersedia dengan custom robots.txt yang telah anda kehendaki > setelah itu pilih save atau simpan.

Cara setting robots.txt

Berikut ini merupakan contoh customisasi setting sintaks robots.txt yang bisa anda terapkan pada blog anda;

User-agent: Mediapartners-Google
Disallow:
User-agen: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemaps: http://www.namablog-anda.com/sitemap.xml

Dengan melakukan setting-an customisasi sintaks robots.txt seperti diatas, maka sintaks Robots.txt akan memberitahu kepada search engine untuk tidak melakukan perayapan terhadap halaman about serta halaman contact yang berada dalam halaman statis pada situs blog anda.

Cara setting Tag tajuk robot khusus

 

Tag tajuk robot khusus

Untuk melakukan setting pada Robots.txt dan setting Tag tajuk robot khusus anda harus melakukannya dengan hati-hati jangan sampai terjadi kesalahan, karena jika terjadi kesalahan halaman situs anda bisa diabaikan oleh search engine Google.
berikut adalah cara melakukan setting pada Tag tajuk robot khusus;
Langkah awalnya adalah seperti anda melakukan setting pada Robots.txt, setelah anda masuk di akun blogger, anda buka halaman Dashboard Blog > lalu pilih Setelan > Preferensi Penelusuran > lalu pilih "Tag tajuk robot khusus" tekan tombol "Edit" lalu anda berikan tanda contreng seperti pada gambar disamping.

Sistem Kerja Robots.txt 

 

Ada dua tugas utama yang dikerjakan oleh Search engine diantaranya yaitu;

1. Tugas Search engine yang pertama dia akan melakukan Crawl atau perayapan terhadap halaman situs untuk menemukan konten,

2. Tugas search engine yang kedua yaitu  melakukan peng-indek-an terhadap konten untuk disajikan kepada pengguna yang sedang mencari informasi (contohnya halaman pencarian Google Search)

Dalam melakukan perayapan search engine akan mengikuti link dari satu situs ke situs yang lainnya pada akhirnya dia akan menghasilkan miliaran link, setelah semua situs dijelajahi dengan cara perayapan akan menghasilkan file secara khusus, sebelum perayapan berlanjut ke halaman situs, sintaks robots.txt akan memberikan informasi bagaimana search engine harus bekerja yang berisi tentang, perintah user agen, diizinkan atau tidaknya suatu halaman untuk dirayapi.

Manfaat Robots.txt untuk Blog

 

Robots.txt memiliki peran penting dalam optimisasi SEO, Robots.txt bisa memberi arahan kepada spidre bot untuk meng Crawl atau merayapi sebuah halaman yang ditargetkan oleh user, ketika spider bot telah menentukan untuk merayapi sebuah halaman dia akan kehilangan bandwidth yang cukup banyak, sehingga apabila direktori dalam halaman pencarian kita dibatasi maka jalan masuknya perayapan mesin telusur akan lebih efektif dalam menghemat bandwidth dan kegagalan spider bot dalam melakukan perayapan blog yang anda milikipun akan sangat sedikit.
 selain itu Robots.txt juga bisa mendorong terhadap kinerja situs yang anda miliki, robots.txt juga dapat melindungi berbagai macam jenis seperti halnya script cmc dan widget.

Demikian Cara setting Robots.txt yang baik dan benar, semoga bermanfaat.

Bagikan Artikel ini