Apa yang dimaksud dengan Crawl Budget?
Anggaran perayapan adalah jumlah waktu dan sumber daya yang diberikan mesin pencari untuk merayapi situs web tertentu. Dengan kata lain, ini adalah jumlah maksimum halaman yang dapat dirayapi oleh mesin pencari di situs Anda dalam jangka waktu tertentu. Anggaran perayapan dapat bervariasi untuk mesin pencari yang berbeda (atau perayap).
Google menyatakan bahwa Anda tidak perlu khawatir tentang anggaran perayapan kecuali:
- Situs Anda memiliki lebih dari 1 juta halaman unik dengan konten yang berubah setiap seminggu sekali.
- Anda memiliki situs web berukuran sedang (sekitar 10 ribu halaman) dan sering mengubah konten (setiap hari).
- Anda menjalankan situs web berita.
- Search Console mengklasifikasikan sebagian besar URL situs Anda sebagai "Ditemukan - saat ini tidak diindeks."
Setiap situs web mendapatkan anggaran perayapan yang berbeda berdasarkan dua faktor utama:
- Permintaan Perayapan: Ditentukan oleh jumlah halaman, frekuensi posting/pembaruan, dan popularitas halaman.
- Batas Laju Perayapan: Dipengaruhi oleh kemampuan server, batas perayapan yang ditetapkan oleh pemilik situs di Search Console, batas perayapan mesin telusur, dan penyesuaian otomatis oleh Google berdasarkan waktu respons server.
Mengapa Anggaran Perayapan Penting?
Anggaran perayapan penting karena hal ini memengaruhi berapa banyak halaman yang dapat dirayapi oleh Googlebot di situs Anda dan seberapa sering Googlebot dapat merayapi halaman web Anda untuk memperbarui indeksnya. Google memiliki sumber daya yang sangat besar, namun tidak dapat merayapi (dan secara teratur merayapi ulang) semua halaman Internet. Akibatnya, Google mengalokasikan anggaran perayapan ke situs web.
Untuk memastikan bahwa anggaran perayapan Anda tidak terbuang sia-sia pada halaman yang tidak penting, fokuslah untuk mengoptimalkan efisiensi perayapan situs web Anda.
Bagaimana Cara Meningkatkan Anggaran Perayapan?
1. Mempercepat Server Anda dan Mengurangi Waktu Pemuatan Halaman
Waktu respons server dan kecepatan pemuatan halaman secara langsung memengaruhi perayapan. Saat Googlebot merayapi situs Anda, ia mengunduh sumber daya terlebih dahulu dan kemudian memprosesnya. Jika server Anda merespons dengan cepat, Googlebot dapat merayapi lebih banyak halaman di situs web Anda.
- Gunakan layanan web hosting yang cepat dan andal serta Content Delivery Network (CDN) untuk meningkatkan waktu respons awal server.
- Kurangi waktu pemuatan halaman dengan mencegah perayapan sumber daya yang besar tetapi tidak penting menggunakan robots.txt, hindari rantai pengalihan yang panjang, dan hapus tema dan plugin yang berat dan dikodekan dengan buruk.
2. Tambahkan Lebih Banyak Tautan
Jumlah tautan ke sebuah halaman menunjukkan pentingnya halaman tersebut bagi Google. Googlebot memprioritaskan perayapan halaman dengan lebih banyak backlink dan tautan internal. Tingkatkan anggaran perayapan Anda dengan menambahkan lebih banyak tautan eksternal dan internal ke halaman Anda.
- Untuk saran tautan internal, audit situs web Anda dengan alat bantu seperti Audit Situs Ranktracker.
3. Perbaiki Tautan Rusak dan Kurangi Pengalihan
Terlalu banyak tautan internal yang rusak (kode respons 404 atau 410) dan URL yang dialihkan (3xx) dapat memboroskan anggaran perayapan situs Anda. Perbaiki tautan yang rusak dan pengalihan yang tidak perlu untuk mengoptimalkan anggaran perayapan Anda.
- Gunakan alat bantu seperti Audit Situs Ranktracker untuk menemukan URL yang rusak dan pengalihan di situs Anda.
4. Gunakan API Pengindeksan jika memungkinkan
API Pengindeksan memungkinkan Anda memberi tahu Google secara langsung setiap kali Anda menambah, menghapus, atau memperbarui halaman di situs Anda. Hal ini membantu agar halaman Anda dirayapi lebih cepat.
- Catatan: API Pengindeksan saat ini tersedia untuk kasus penggunaan tertentu seperti video langsung dan lowongan pekerjaan.
Pertanyaan Umum
Apakah Googlebot Menghormati Penundaan Perayapan di Robots.txt?
Tidak, Googlebot tidak menghormati pengaturan penundaan perayapan yang diterapkan dalam file robots.txt.
Kapan Anda Harus Peduli dengan Anggaran Perayapan?
Anda harus peduli dengan anggaran perayapan jika Anda mengoperasikan situs yang sangat besar (lebih dari 1 juta halaman) atau situs web berukuran sedang dengan perubahan konten yang sangat sering (setiap hari). Sebagian besar situs tidak perlu mengkhawatirkan anggaran perayapan.
Bagaimana Cara Memeriksa Anggaran Perayapan untuk Situs Web Saya?
Anda tidak akan menemukan angka pasti untuk anggaran perayapan di mana pun. Namun, Anda dapat memeriksa ikhtisar aktivitas perayapan Google di laporan Statistik Perayapan di Konsol Penelusuran Google.
Untuk wawasan lebih lanjut tentang cara meningkatkan SEO situs web Anda dan efisiensi perayapan, kunjungi Blog Ranktracker dan jelajahi Panduan SEO kami yang komprehensif. Selain itu, biasakan diri Anda dengan istilah dan konsep SEO utama dalam Glosarium SEO kami.
