Pengertian Crawl Errors dan Cara Memperbaikinya

Apa Itu Crawl Errors?

Apa Itu Crawl Error?

Berdasarkan keterangan Google di Google Webmaster Tools, Halaman yang yang memiliki status Crawl Errors menyediakan informasi secara detail/lengkap tentang URL di dalam situs atau blog kita yang mana URL tersebut sudah berusaha di crawling/di rayapi akan tetapi tetap tidak bisa di akses. Itu adalah keterangan Google tentang Crawl Error Page yang saya terjemahkan ke dalam bahasa Indonesia. Dan Ini versi English atau aslinya "The Crawl errors page provides details about the URLs in your site that we tried to crawl but could not access".

Bagaimana Cara Melihat Crawl Error blog atau situs kita :

1. Sign In terlebih dahulu di Google Webmaster Tools
2. Pada halaman awal Google Webmaster Tools, Klik link blog yang akan di lihat
3. Di bawah Diagnostik, klik Galat Perayapan

Dari sana sobat blogger bisa melihat dengan jelas setiap halaman dari blog sobat yang mendapatkan status Crawl Errors.

Jenis atau bentuk Error yang terjadi :

1. URLs timed out
2. URLs not followed
3. HTTP errors
4. URL unreachable
5. Soft 404s
6. Not found
7. URLs restricted by robots.txt

Cara Memperbaiki Crawl Eror

 Crawl Errors adalah fasillitas yang ada di Google Webmasters Tools yang berguna untuk menampilkan laporan mengenai link yang rusak atau broken link yang terdapat pada sebuah blog atau web. Artinya link yang ada blog atau web tersebut tidak bisa ditemukan lagi oleh Google. Penyebab dari Crawl Error bermacam-macam, salah satunya adalah menghapus posting yang sebelumnya pernah dipublishkan. Perlu diketahui bahwa jika sebuah blog/web mempunyai banyak Crawl Error, maka hal ini dapat menurunkan reputasi sebuah blog di mata Search Engine.
Cara mengetahui jumlah link yang rusak, teman-teman dapat mengunjungi

• https://www.google.com/webmasters/tools 
• Pilih URL Site kamu 
• Diagnostics 
• Crawl Errors.

(Mudah-mudahan tidak banyak Crawl Error-nya ya).

Setelah mengetahui berapa jumlah crawl error-nya, sekarang kita lanjutkan langkah-langkah menghapus crawl error tersebut :

• Buka kembali menu Diacnotics > Crawl Errors dan Copy link error yang ingin dihapus
• Klik Site Configuration > Crawler Access > Remove URL > New Removal Request
• Paste link yang telah di copy tadi > Klik Continue > Klik Submit Request
• Ulangi langkah diatas sebanyak error yang ada

Cara Memperbaiki Crawl Error Not Found
Blogger pada tahun 2013 ini memliki berbagai macam fitur dan pengolahan sistematic baru dan beberapa method algoritma yang ditambahkan. Untuk memperbaiki Crawl Error yang terjadi di bagian Health ( Kesehatan ) , lalu Kesalahan Perayapan anda akan menemukan url yang tidak ditemukan di halaman situs Anda. Untuk cara memperbaikinya, Anda cukup scroll mouse ke bawah dan lihat semua url yang tidak ditemukan tersebut. Apabila, memang benar semua link tersebut tidak ada dan salah cara memperbaikinya adalah :

• Ceklis / Centang semua URL Error.
• Click Tandai Sebagai telah Diperbaiki / Check Mark as Fixed.

Tunggu hingga 2 hari untuk mengecek kembali apakah url yang tidak ditemukan dan rusak tersebut telah selesai diperbaiki. Jika kesalahan terjadi di bagian Sitemap, kita review ulang apakah

Cara Memperbaiki URL yang dicekal di Webmaster Tools :

1. Cek terlebih dahulu sitemap yang anda pakai.

2. Jika sitemap Anda tipenya adalah Atom dan bukan Peta Situs. Cek apakah URL Yang terkirim dan terindex, memiliki jumlah yang sama dengan total url yang telah dipbulikasikan di halaman blogger anda.

3. Di dalam robots.txt, ubahlah pengaturan Googlebot Anda. Anda boleh mengubahnya jika Anda telah menerima pesan error dari Googlebot dan statistik perayapan.

Ubah disallow: /search menjadi disallow: seperti terlihat pada gambar berikut

4. Jika, Anda belum mendapatkan pesan error itu disebabkan oleh pengaturan bot dari metatag Anda. Perlu Anda ketahui dalam membuat perintah index dan follow kepada robot google , lakukan pengoptimalan dihalaman Article Anda atau dengan menggunakan metatag tambahan. Karena dalam metode pencarian artikel sebaiknya rubah strukturnya menjadi nofollow dan noarchive. Ingat, perubahan ini bukan untuk metatag, tetapi untuk metode Search Preferences yang ada pada option di menu Blogger. Karena perintah robot di meta tag adalah untuk semua data baik itu attribute url, artikel, judul, halaman, dan lainnya. Sedangkan menu Search Preferences adalah untuk pengecualian terhadap method search url di artikel agar tidak terjadi duplicate content dan crawl error. Menu ini ada di Setting > Custom robots header tags.

5. Anda dapat mengganti dan memperbaiki robots.txt dengan cara Login ke Blogger > Setting > Search Preferences > Ceklis Enabled Edit custom robots.txt.

Source :

-  http://impoint.blogspot.com/2013/02/memperbaiki-url-error-dan-dicekal-di-webmaster-tools.html#ixzz2TKUqZoOv
-  http://dangstars.blogspot.com/2012/01/cara-memperbaiki-crawl-erorr.html

- http://bloggertutorialblog.blogspot.com/2012/02/apa-itu-crawl-errors.html