-->

Cara memperbaiki url postingan yang dicekal oleh robot.txt

  Selamat pagi temen-temen IT Club, kembali lagi bersama saya dihari yang cerah ini semoga kegiatan kita diberikan kelancaran..aaamiin Sebelumnya kita udah membahas tentang Tag hreflang dan cara memasangnya dan semoga temen-temen bisa paham dan menerapkanya.
  Mungkin artikel saya kali ini telah ada atau mungkin banyak diupload oleh temen blogger lain tapi disini saya akan akan menuliskan dengan gaya saya sendiri dan pengalaman saya sendiri dan saya berharap temen-temen yang membaca artikel saya paham dan dapat langsung menerapkanya
Perumpamaan Robot.txt
 
    Nah sekarang kita akan sedikit mempelajari tentang robot.text tapi gak seluruhnya disini saya hanya akan berbagi pengalaman saya tentang Memperbaiki postingan yang dicekal oleh robot.txt
  Sedikit penjelasanya Robot.txt ini adalah file yang berformat text (seperti namanya txt) yang wajib dimiliki situs internet yang didaftarkan ke mesin pencarian sepertit google, yahoo, bing dll dan berfungsi untuk mengontrol dan mengatur halaman mana yang boleh ditampilkan atau diindex oleh mesin pencarian seperti diatas

jadi bisa disimpulkan bahwa robot.txt ini sangat erat kaitanya dengan SEO (Search Engine Optimation) seperti yang kalian ketahui SEO berperan besar untuk web atau blog kita seperti untuk mendapatkan traffic organic dll.  OK back to topic untuk mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.

Berikut cara memperbaiki url post yang dicekal :
   1. Login ke Blogger.com
   2. Pergi ke Setelan > Preferensi dan penelusuran
   3. Pada kolom Perayap dan pengindeksan,
   4. Klik Edit di bagian kanan robots.txt khusus.
   5. Masukan kode dibawah ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://dotnolife.blogspot.com/feeds/posts/default?orderby=updated

catatan: “ganti warna biru dengan URL blogg anda”

   6. Centang Ya untuk mengaktifkan.
   7. Simpan perubahan.

Arti dari kode di atas adalah :


  1.  “User-agent: Mediapartners-Google” : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap Mediapartners-Google. Mediapartners-Google adalah bot crawler untuk google adsense.
  2.  “Disallow: ” : Ini berarti bahwa tidak ada batasan halaman merangkak oleh crawler. Dengan kata lain, memungkinkan crawler merangkak semua halaman di situs.
  3.  “User-agent: *”: ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku padasemua robot crawler (diwakili dengan kode ‘*’).
  4.  “disallow: /search” : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.
  5.  “allow: /”: Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.
  6.  “Sitemap: ” : Ini adalah sitemap dari situs Anda yang diberitahukan kepada crawler agar mudah ketika menjelajahinya lagi. Sitemap berisi semua link yang ada disitus untuk dirayapi crawler.


  • Kesimpulan :
  • File robots.txt memperbolehkan crawler google adsense (User-agent:Mediapartner-Google) untuk menjelajah semua halaman situs anda
  • Mengijinkan semua crawler dari mesin pencari manapun (User-agent:*) merangkak semua halaman blog Anda kecuali halaman dengan url yang memiliki awalan urlblog.com/search. Karena halaman dengan url awalan itu merupakan halaman-halaman arsip dan label.

Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.

Saran saya 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.

  Semoga ” Cara Memperbaiki URL postingan Yang di Cekal Robot.txt ” dapat bermanfaat bagi anda dalam ilmu blogging anda. Jika ada kesalahan saya dalam penyampaian dan penulisan saya mohon maaf dan apabila ada pertanyaa silahkan tinggalkan di comment. Terima Kasih See next Post

1 Response to "Cara memperbaiki url postingan yang dicekal oleh robot.txt"

Edy Bagus said...

http ganti https gan biar lebih seo

Iklan Atas Artikel Non Aktif

Iklan Tengah Artikel NonAktif

Iklan Tengah Artikel Non aktif

Iklan Bawah Artikel