Cara Setting Robots.txt dan Tag Tajuk Robot Khusus yang SEO Blogger

Hartono Lapan S   Januari 04, 2018   SEO   Comment  

Setting Robots.txt dan Tag Tajuk Robot Khusus

Sebagai seorang blogger tentunya kita sudah sering mendengar bahkan tidaklah asing bagi Anda tentang robot.txt ini. Ya benar robot.txt ini sangat penting dalam sebuah halaman situs atau website karena yang bertugas merayapi dan juga memfilter setiap konten yang ada ada blog atau web kita di mesin pencari.  Pemilik situs web menggunakan file / robots.txt untuk memberi petunjuk tentang situs mereka ke robot web; ini disebut The Robots Exclusion Protocol. Web Robots (juga dikenal sebagai Web Wanderers, Crawler, atau Spiders), adalah program yang melintasi Web secara otomatis. Mesin pencari seperti Google menggunakannya untuk mengindeks konten web dan masih banyak lagi fungsinya.

Dengan adanya Robots.txt dan Tag Tajuk inilah yang nantinya akan mempermudah mesin pencari dalam hal merayapi konten web, akses, dan indeks, dan menyajikan konten tersebut kepada pengguna juga mencakup arahan seperti robot meta, serta petunjuk halaman, subdirektori, atau keseluruhan situs untuk bagaimana mesin pencari harus memperlakukan tautan yang dimiliki (seperti "follow" atau "nofollow"). Maka perlu di ingat bahwa setingan ini sangat penting karena dampaknya akan terasa jika kita salah untuk menyetingnya. Jika salah sedikit saja maka bukan tidak mungkin kinten Anda akan di acuhkan oleh mesin pencari.

Namun demikian tahukah Anda jika dari beberapa artikel yang saya baca ternyata, penggunanan yang menerapkan robot.txt ini berpendapat bahwa sangat berguna untuk mendongkrak SEO blog kita. Ya benar jika kita bisa memaksimalkannya dengan setingan yang sesuai maka ini akan berpengaruh pada SEO friendly blog kita juga. Dengan memperhatikan cara kerja robot.txt ini maka kita bisa menentukan mana saja yang boleh di indeks oleh mesin pencari dan mana yang tidak kita perbolehkan. Misalkan saja Anda memiliki sebuah konten yang tidak ingin di tampilkan ke publik dan mesin pencari maka robot.txt ini akan sangat berguna untuk memblokir halaman yang di tentukan. Dalam hal ini juka Anda menggunakan blogger maka sudah di sediakan fitur ini yang akan memudahkan kita dalam memaksimalkan dan optimasi SEO blog kita.

Nah bagaimana Cara Setting Robots.txt dan Tag Tajuk Robot Khusus tersebut supaya aman sebagai berikut:

Biasanya Format Dasarnya adalah:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

Artikel terkait: 9 Situs Penyedia Broken Link Checker Tool Gratis

1). Gunakan Robots.txt bawaan atau default-nya

Jika berbicara mana yang paling aman maka setingan bawaan dari google lah yang paling terjamin keamanannya. Namun demikian bukan berarti tidak maksimal dan efektif dalam memfilter dan merayapi konten Anda. Dalam penerapannya pun tidak perlu di ambil pusing karena memang dari sejak pertama kali Anda membuat blog sudah aktif secara otomatis di blog Anda.

Berikut Robot.txt standar dan default-nya

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Keterangan:

User-agent:

Berfungsi sebagai Mediapartners-Google yaitu seperti AdSense

Disallow:

Pada kode ini berfungsi sebagai penunjuk bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang Anda miliki, Dengan menggunakan kode ini memiliki kegunaan yaitu untuk merayapi semua halman blog anda dengan syarat ketentuan adsense. Anda juga bisa mengkosongkan kode ini.

User-agent : * 

Kode tersebut berfungsi untuk perintah bot-crawl untuk merayapi seluruh halaman situs yang Anda miliki namun dengan syarat baris tersebut harus terpisah dari kode, yang dimaksudkan itu kode yang diterapkan setelah kode user-agent.

Disallow: /search
Pada kode ini berfungsi untuk penunjuk bahwa setiap halman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Jika menggunakan kode ini akan memaksmalkan dan meningkatkan SEO Anda karena memang kode tersebut berguna untuk menghindari jika adanya duplikat kontent yang sering di jumpai blogger.

Sitemap: Pada kode ini bertujuan untuk menampilkan sebuah link daftar isi blog anda. Ini akan mempermudah dala perayapan mesin pencari untuk konten Anda.

2). Custom Robot.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Jika Anda menggunakan kode di atas maka akan berfungsi utnuk membatasi dalam hal perayapan halaman tertentu misal Anda tidak ingin menampilkan halaman kontak dan tentang pada halaman statis maka dengan menggunakannya halaman tertentu tersebut tidak akan di rayapi oleh mesin pencari.

Bagaimana Cara Mengaktifkan Dan Setting Robot.txt:

1.  Log in ke blogger dengan akun blogger anda.
2.  Klik setelan -> Preferensi penelusuran / Search preferences.
3.  Pada tab perayap dan pengindeksan pilih robot.txt.
4.  Dan masukkan perintah seperti yang di jelaskan di atas.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.gomarketingstrategic.com/sitemap.xml

5. Simpan.

Bagaimana Cara setting Robot Header Tags (Tag Tajuk Robot Khusus)

1. Masih di menu setelan ->Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih Yes/Ya
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini:

5. Lalu Tinggal Simpan Perubahan.

Tujuan dan fungsi diatas adalah membolehkan perayapan mesin pencari utnuk merayapi semua isi blog secara default untuk pos dan laman akan tetapi tidak membolehkan mesin pencari untuk merayapi laman arsip dan penelusuran atau fungsi pencarian dalam blog.

Sebagai catatan saya untuk menerapkan fungsi ini saya harap untuk di pertimbangkan terlebih dahulu dengan berhati-hati karena memang sangat sensitif jika terjadi kesalahan bahkan jika salah maka bisa jadi akan berakibat diabaikan oleh mesin pencari. Bahkan di situ sudah jelas ada peringatan yaitu: (Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.).

Baca juga: 15 Daftar Situs Social Bookmarking Gratis Dengan PR Tinggi

Bagaiman sobat blogger menarik bukan pembahasanya. Sebagai penutup saya akan berpesan bahwa saya telah menerapkan beberapa setingan pada Robots.txt dan Tag Tajuk Robot Khusus ini dan ternyata tidak ada yang lebih baik dari bawaan atau default-nya. Pernah saya mengganti-ganti setingan tersebut untuk mencoba dan ternyata malah blog saya menjadi de-index sampai pengunjung turun hingga 50% jadi pesan saya sedrehana hati-hati dalam menerapkannya. Robot.txt ini sangat berguna untuk mendongkrak SEO blog kita jika dimanfaatkan dengan sebaik mungkin. Itu artinya akan bagus juga untuk meningkatkan traffik dan pengunjung blog kita dan sebaliknya.  

Cukup sekian pembahasan kali ini tentang Robots.txt dan Tag Tajuk Robot Khusus yang SEO Blogger. Semoga artikel yang sedikit ini memberikan informasi yang bermanfaat untuk Anda. Jika ada kekurangan saya mohon maaf jika berkenan mau menambahi atau ingin berbagi dengan pengunjung yang lain silahkan berkomentar di bawah ini Terimakasih salam sukses untuk kita semua.