¿Qué es Crawl Budget?
El presupuesto de rastreo es la cantidad de tiempo y recursos que un motor de búsqueda asigna para rastrear un sitio web concreto. En otras palabras, es el número máximo de páginas que un motor de búsqueda puede rastrear en su sitio dentro de un plazo determinado. El presupuesto de rastreo puede variar según el motor de búsqueda (o rastreador).
Google afirma que no debes preocuparte por el crawl budget a menos que:
- Su sitio tiene más de un millón de páginas únicas con contenidos que cambian aproximadamente una vez a la semana.
- Tiene un sitio web de tamaño medio (unas 10.000 páginas) y cambia el contenido con frecuencia (a diario).
- Dirige un sitio web de noticias.
- Search Console clasifica la mayoría de las URL de su sitio como "Descubiertas - actualmente no indexadas".
Cada sitio web recibe un presupuesto de rastreo diferente en función de dos factores principales:
- Demanda de rastreo: Definida por el número de páginas, la frecuencia de publicación/actualización y la popularidad de las páginas.
- Límite develocidad de rastreo: influye la capacidad del servidor, el límite de rastreo establecido por el propietario del sitio en Search Console, el límite de rastreo del motor de búsqueda y los ajustes automáticos de Google basados en los tiempos de respuesta del servidor.
¿Por qué es importante el presupuesto de rastreo?
El presupuesto de rastreo es importante porque afecta al número de páginas que Googlebot puede rastrear en su sitio y a la frecuencia con la que Googlebot puede volver a rastrear sus páginas web para actualizar su índice. Google dispone de enormes recursos, pero no puede rastrear (ni volver a rastrear con regularidad) todas las páginas de Internet. Por ello, Google asigna un presupuesto de rastreo a los sitios web.
Para asegurarse de que su presupuesto de rastreo no se desperdicia en páginas sin importancia, céntrese en optimizar la eficacia del rastreo de su sitio web.
¿Cómo aumentar el presupuesto de rastreo?
1. Acelere su servidor y reduzca el tiempo de carga de las páginas
El tiempo de respuesta del servidor y la velocidad de carga de la página afectan directamente al rastreo. Cuando Googlebot rastrea su sitio, primero descarga los recursos y luego los procesa. Si su servidor responde con rapidez, Googlebot puede rastrear más páginas de su sitio web.
- Utilice un servicio de alojamiento web rápido y fiable y una red de distribución de contenidos (CDN) para mejorar el tiempo de respuesta inicial del servidor.
- Reduzca los tiempos de carga de las páginas impidiendo el rastreo de recursos grandes pero no críticos mediante robots.txt, evitando largas cadenas de redireccionamiento y eliminando temas y plugins pesados y mal codificados.
2. Añadir más enlaces
El número de enlaces a una página indica su importancia para Google. Googlebot prioriza el rastreo de páginas con más backlinks y enlaces internos. Aumente su crawl budget añadiendo más enlaces externos e internos a sus páginas.
- Para obtener sugerencias sobre enlaces internos, audite su sitio web con herramientas como Ranktracker's Site Audit.
3. Corregir enlaces rotos y reducir las redirecciones
Demasiados enlaces internos rotos (códigos de respuesta 404 o 410) y URL redirigidas (3xx) pueden malgastar el crawl budget de su sitio. Corrige los enlaces rotos y las redirecciones innecesarias para optimizar tu crawl budget.
- Utiliza herramientas como Ranktracker's Site Audit para encontrar URLs rotas o que redireccionan en tu sitio.
4. Utilice la API de indexación si es posible
La API de indexación le permite notificar directamente a Google cada vez que añada, elimine o actualice páginas de su sitio. Esto ayuda a que sus páginas sean rastreadas más rápidamente.
- Nota: La API de indexación está disponible actualmente para casos de uso específicos como vídeos en directo y ofertas de empleo.
Preguntas frecuentes
¿Respeta Googlebot el retardo de rastreo en Robots.txt?
No, Googlebot no respeta la configuración de retardo de rastreo aplicada en un archivo robots.txt.
¿Cuándo debe preocuparse por el presupuesto para el rastreo?
Debería preocuparse por el presupuesto de rastreo si gestiona un sitio muy grande (más de 1 millón de páginas) o un sitio web de tamaño medio con cambios de contenido muy frecuentes (diarios). La mayoría de los sitios no necesitan preocuparse por el crawl budget.
¿Cómo puedo comprobar el presupuesto de rastreo de mi sitio web?
No encontrará la cifra exacta del presupuesto de rastreo en ningún sitio. Sin embargo, puede consultar el resumen de la actividad de rastreo de Google en el informe Estadísticas de rastreo de Google Search Console.
Para más información sobre cómo mejorar el SEO y la eficiencia de rastreo de su sitio web, visite el Blog de Ranktracker y explore nuestra completa Guía SEO. Además, familiarízate con los términos y conceptos clave de SEO en nuestro Glosario SEO.
