Cara Aman Setting Robots.txt Khusus dan Tag Tajuk Di Blogger

Hartono Lapan S   September 16, 2018   Blogging   Comment  

Setting Robots.txt Khusus Di Blogger Mudah dan Aman

Untuk membuat sebuah blog yang ramah terhadap mesin pencari khususnya google, selain konten yang menarik, beberapa pengaturan dasar juga perlu diterapkan oleh para pemilik blog. Salah satunya adalah mengatur penggunaan robots.txt khusus. Dengan pengaturan yang benar pada robots.txt khusus ini, usaha untuk membuat blog yang ramah terhadap mesin pencari pun akan semakin mudah untuk dilakukan.

Apa itu robots txt.khusus dan kenapa kita harus mengaturnya?

Jangan membayangkan robots.txt khusus ini sebagaimana robots yang Anda lihat di film-film. Jelas tidak ada sangkut pautnya sama sekali. Robots.txt khusus adalah sebuah file berformat txt yang berisi beberapa perintah untuk mengontrol proses perayapan konten blog oleh crawler mesin telusur, misalnya google.

Dalam proses perayapan dan pengindekan konten blog, crawler akan mengacu pada pengaturan yang ada pada file robots.txt tersebut. Sehingga dengan mengaturnya sebaik mungkin,  blog kita akan dengan mudah dirayapi, dan konten-kontennya pun akan mudah terindex.

Artikel terkait: Belajar dari Blogger Sukses, Dapatkan Motivasi Serta Semangat Anda Kembali dari Mereka

Bagaimana cara setting robots.txt khusus di blogger?

Setidaknya ada 2 pilihan pengaturan robots.txt khusus yang bisa kita pilih dan terapkan di blog. Kita bisa menggunakan pengaturan robots.txt default atau menggunakan pengaturan robots.txt yang kita buat sendiri, istilahnya custom robots.txt. Berikut adalah cara menggunakan keduanya.

1. Robots.txt default

Tidak ada yang perlu diubah apabila kita memilih untuk menggunakan settingan robots.txt default. Ini adalah settingan robots.txt yang secara otomatis akan dibuat dan diaktifkan sejak kita pertama kali membuat blog di blogger.
Untuk Anda yang masih pemula, settingan robots.txt yang dianjurkan untuk digunakan adalah settingan robots.txt default ini. Sebab, ini merupakan settingan yang paling aman.
Untuk melihat pengaturan yang ada pada file robots.txt default, Anda bisa membukanya dengan cara mengakses https://namablog.blogspot.com/robots.txt atau https://namablog.com/robots.txt.
Dan berikut ini arti dari masing-masing baris perintah pada file yang bisa Anda lihat di sana.
User-agen : Mediapartners-Google
Baris perintah di atas bertujuan untuk memberitahu crawler bahwa blog Anda menggunakan google adsense sebagai sarana monetize.
Disallow :
Perintah untuk tidak membatasi crawler merayapi semua bagian atau halaman pada blog kita.
User-agent : *
Perintah untuk mengijinkan semua crawler mesin telurus untuk merayapi blog Anda.
Disallow : /search
Perintah untuk memblok atau tidak mengijinkan crawler untuk merayapi semua link setelah /search. Misalnya link yang mengarah ke kategori yang tidak berisi artikel secara utuh.
Allow : /
Perintah agar crawler merayapi semua halaman selain yang di-disallow
Sitemap : https://namablog.blogspot.com/sitemap.xml
Sitemap blog yang isinya berupa semua link yang ada di blog Anda. Sitemap ini diperlukan untuk memudahkan crawler ketika menjelajah ke blog Anda di lain waktu.
Ingat. Tidak ada yang perlu diubah pada settingan file robots.txt default ini jika Anda memilih untuk menggunakannya. Perubahan hanya perlu dilakukan ketika Anda ingin membuat perintah yang berbeda.

2. Robots.txt custom

Untuk kepentingan SEO blog, para blogger kadang melakukan beberapa perubahan terhadap pengaturan yang ada pada file robots.txt. Masing-masing blogger tentunya memiliki cara atau aturan tersendiri. Jika ingin mencoba, Anda bisa menerapkan settingan seperti berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://namablog.blogspot.com/sitemap.xml
Perhatikan pada bagian Disallow setelah User-agent. Perintah tersebut maksudnya adalah kita memerintahkan agar crawler tidak melakukan perayapan dan juga tidak mengindex halaman about dan kontak. Apabila ingin menambahkan halaman lain, Anda tinggal mengisinya pada baris di bawahnya.

Bagaimana cara menerapkan atau mengaktifkan robots.txt khusus di blogger?

Untuk menerapkan settingan robots.txt khusus yang telah Anda buat sendiri caranya sangatlah mudah. Anda tinggal log in ke akun blogger Anda dan mengakses menu setelan – preferensi penelusuran – perayapan dan pengindekan dan memilih opsi edit pada bagian robots.txt khusus.
Yang perlu Anda lakukan adalah :

1. Mengaktifkan konten robots.txt khusus dengan menekan tombol “Ya”.
2. Menghapus semua settingan pada bagian tengah dan menggantinya dengan settingan yang Anda buat sendiri.
3. Diakhiri dengan menyimpan perubahan (angka 3).

Setelah disimpan, blog Anda kini sudah resmi menggunakan settingan khusus pada file robots.txt nya. Anda tinggal mengamati efek dari perubahan settingan tersebut. Jika dirasa masih kurang maksimal, Anda masih bisa mengubahnya kapanpun Anda mau.

Baca juga:  Faktor-Faktor Penyebab Penghasilan Adsense Kecil

Seting Tag tajuk khusus

Nah yang terakhir adalah mengatur tag tajuk khususnya dan caranya pun sangat mudah tinggal mencentang beberapa poin penting ytang diperlukan agar perayapan mesin pencari bisa maksimal. Untuk lebih jelasnya langsung saja mengikuti gambar berikut ini:

Demikianlah cara setting robots.txt khusus di blogger. Agar tidak berdampak buruk pada blog Anda, sebaiknya Anda berhati-hati dan benar-benar faham mengenai maksud dari perintah atau settingan yang Anda buat.