O que é o Crawl Budget?
O orçamento de rastreamento é a quantidade de tempo e recursos que um mecanismo de busca atribui para rastrear um determinado site. Em outras palavras, é o número máximo de páginas que um mecanismo de busca pode rastrear em seu site em um período de tempo específico. O crawl budget pode variar para diferentes mecanismos de busca (ou rastreadores).
O Google afirma que você não deve se preocupar com o orçamento de rastreamento, a menos que:
- Seu site tem mais de 1 milhão de páginas exclusivas com conteúdo que muda cerca de uma vez por semana.
- Você tem um site de médio porte (cerca de 10 mil páginas) e altera o conteúdo com frequência (diariamente).
- Você administra um site de notícias.
- O Search Console classifica a maioria dos URLs do seu site como "Descobertos - atualmente não indexados".
Cada site recebe um orçamento de rastreamento diferente com base em dois fatores principais:
- Demanda de rastreamento: Definida pelo número de páginas, frequência de publicação/atualização e popularidade das páginas.
- Limite de taxa de rastreamento: afetado pelos recursos do servidor, pelo limite de rastreamento definido pelo proprietário do site no Search Console, pelo limite de rastreamento do mecanismo de pesquisa e pelos ajustes automáticos do Google com base nos tempos de resposta do servidor.
Por que o Crawl Budget é importante?
O crawl budget é importante porque afeta a quantidade de páginas que o Googlebot pode rastrear em seu site e a frequência com que o Googlebot pode rastrear novamente suas páginas da Web para atualizar o índice. O Google tem recursos enormes, mas não pode rastrear (e rastrear novamente com regularidade) todas as páginas da Internet. Como resultado, o Google aloca um orçamento de rastreamento para os sites.
Para garantir que seu orçamento de rastreamento não seja desperdiçado em páginas sem importância, concentre-se em otimizar a eficiência de rastreamento do seu site.
Como aumentar o orçamento de rastreamento?
1. Acelere seu servidor e reduza o tempo de carregamento da página
O tempo de resposta do servidor e a velocidade de carregamento da página afetam diretamente o rastreamento. Quando o Googlebot rastreia seu site, ele primeiro baixa os recursos e depois os processa. Se o seu servidor responder rapidamente, o Googlebot poderá rastrear mais páginas em seu site.
- Use um serviço de hospedagem na Web rápido e confiável e uma rede de distribuição de conteúdo (CDN) para melhorar o tempo de resposta inicial do servidor.
- Diminua o tempo de carregamento da página impedindo o rastreamento de recursos grandes, mas não críticos, usando o robots.txt, evitando longas cadeias de redirecionamento e removendo temas e plug-ins pesados e mal codificados.
2. Adicionar mais links
O número de links para uma página indica sua importância para o Google. O Googlebot prioriza o rastreamento de páginas com mais backlinks e links internos. Aumente seu orçamento de rastreamento adicionando mais links externos e internos às suas páginas.
- Para obter sugestões de links internos, audite seu site com ferramentas como a Auditoria do site do Ranktracker.
3. Corrigir links quebrados e diminuir os redirecionamentos
O excesso de links internos quebrados (códigos de resposta 404 ou 410) e de URLs redirecionados (3xx) pode desperdiçar o orçamento de rastreamento do seu site. Corrija os links quebrados e os redirecionamentos desnecessários para otimizar seu orçamento de rastreamento.
- Use ferramentas como a Auditoria do site do Ranktracker para encontrar URLs quebrados e redirecionamentos em seu site.
4. Use a API de indexação, se possível
A API de indexação permite que você notifique o Google diretamente sempre que adicionar, remover ou atualizar páginas no seu site. Isso ajuda a fazer com que suas páginas sejam rastreadas mais rapidamente.
- Observação: A API de indexação está atualmente disponível para casos de uso específicos, como vídeos ao vivo e anúncios de emprego.
Perguntas frequentes
O Googlebot respeita o atraso de rastreamento no Robots.txt?
Não, o Googlebot não respeita as configurações de atraso de rastreamento aplicadas em um arquivo robots.txt.
Quando você deve se preocupar com o orçamento do Crawl?
Você deve se preocupar com o crawl budget se estiver operando um site muito grande (mais de 1 milhão de páginas) ou um site de médio porte com alterações muito frequentes (diárias) no conteúdo. A maioria dos sites não precisa se preocupar com o crawl budget.
Como posso verificar o Crawl Budget do meu site?
Você não encontrará o número exato do orçamento de rastreamento em nenhum lugar. No entanto, você pode verificar a visão geral da atividade de rastreamento do Google no relatório Crawl Stats no Google Search Console.
Para obter mais informações sobre como melhorar o SEO e a eficiência de rastreamento do seu site, visite o blog do Ranktracker e explore nosso abrangente Guia de SEO. Além disso, familiarize-se com os principais termos e conceitos de SEO em nosso Glossário de SEO.
