O que é o Googlebot?
Googlebot é o nome dado aos rastreadores da Web do Google que coletam informações para vários serviços do Google, incluindo seu índice de pesquisa.
Ele tem duas versões principais: Googlebot Desktop e Googlebot Smartphone. Com a indexação mobile-first, o Googlebot Smartphone tornou-se o principal rastreador que alimenta o índice de pesquisa do Google.
Então, como o Googlebot funciona?
O Googlebot rastreia constantemente a Web para descobrir novas páginas, envia as páginas para processamento a fim de adicioná-las ao índice de pesquisa e rastreia novamente as páginas para procurar informações novas/atualizadas.
Durante esse processo, o Googlebot segue rigorosamente as regras dos arquivos robots.txt e as diretrizes para rastreadores em páginas e links.
Por que o Googlebot é importante?
O Googlebot é uma das principais ferramentas que alimentam todo o mecanismo de busca do Google. Sem ele, toda a pesquisa (e, portanto, o SEO) não existiria. Se o Googlebot não rastreasse um site, ele não seria indexado e não estaria visível nos resultados.
Portanto, os profissionais de SEO e os webmasters precisam entender como o Googlebot funciona. Além disso, é importante garantir que o rastreador acesse o site adequadamente, sem problemas de rastreabilidade ou descoberta.
Práticas recomendadas para um site amigável para rastreamento
Se você quiser que o Googlebot rastreie seu website adequadamente e faça com que as páginas sejam indexadas, é preciso garantir que alguns aspectos estejam em vigor. Como não se trata de um evento único, apresentamos a seguir algumas das práticas recomendadas a serem seguidas regularmente para manter um site amigável ao rastreamento.
1. Verifique seu arquivo Robots.txt
O arquivo Robots.txt no site permite que você controle o que é rastreado. Ele se comunica com os bots usando as diretivas de rastreamento.
É preciso garantir que o arquivo robots.txt não impeça o Googlebot de rastrear as páginas/seções do seu site que você deseja indexar.
Em seguida, procure erros no arquivo usando as ferramentas de teste do robots.txt.
Você deve garantir que o robots.txt esteja acessível ao Googlebot, ou seja, que não esteja bloqueado no nível do servidor.
2. Enviar os Sitemaps
O envio de sitemaps é a maneira mais simples de informar ao Google quais páginas você deseja que sejam rastreadas e indexadas.
Criar sitemaps não é complicado se você usar qualquer plug-in de SEO popular no WordPress, como o Yoast ou o Rank Math. Eles criarão automaticamente sitemaps para você, os quais você poderá enviar.
O URL gerado terá a seguinte aparência: yourdomainname.com/sitemap_index.html
Para enviar um URL de mapa do site manualmente, você precisa visitar o Google Search Console e clicar em "Sitemaps" na seção "Index" no menu principal.
3. Use as diretivas de rastreamento com sabedoria
Além do arquivo robots.txt, há diretivas em nível de página que notificam os rastreadores sobre quais páginas têm permissão (ou não) para serem rastreadas.
Portanto, você precisa garantir que as páginas que deseja indexar não tenham a diretiva "noindex". Da mesma forma, certifique-se de que elas não tenham uma diretiva "nofollow" se quiser que seus links de saída também sejam rastreados.
Você pode usar a SEO Toolbar para Chrome e Firefox para verificar as diretivas em suas páginas.
4. Fornecer links internos entre as páginas
Outra maneira simples de ajudar uma página a ser indexada mais rapidamente é vinculá-la a outra página que já esteja indexada. Como o Googlebot rastreia novamente as páginas, ele encontrará o link interno e o rastreará rapidamente.
Além do rastreamento, os links internos passam o chamado "link juice" para as páginas, aumentando o PageRank delas.
5. Use a auditoria do site para encontrar problemas de rastreabilidade e indexabilidade
Por fim, você pode usar as ferramentas de Auditoria do site para encontrar problemas relacionados à indexabilidade e rastreabilidade em seus sites.
A Auditoria do site pode ajudá-lo a encontrar páginas quebradas, redirecionamentos excessivos, cadeias de redirecionamento, páginas noindex, links nofollow, páginas órfãs (aquelas sem links internos) e muito mais.
Você pode monitorar a saúde de SEO do seu site gratuitamente com ferramentas como a Auditoria da Web do Ranktracker.
Perguntas frequentes
Rastreamento e indexação são a mesma coisa?
Não, os dois não são a mesma coisa. O rastreamento implica a descoberta de páginas e links na Web. A indexação refere-se ao armazenamento, à análise e à organização do conteúdo e das conexões entre as páginas que foram encontradas durante o rastreamento.
Somente depois que uma página é indexada é que ela fica disponível para ser exibida como resultado de consultas relevantes.
Posso verificar se um rastreador da Web que está acessando meu site é realmente o Googlebot?
Se estiver preocupado com a possibilidade de spammers ou outros causadores de problemas estarem acessando seu site alegando serem Googlebots, você pode verificar o rastreador para ver se ele é realmente um rastreador do Google.
Qual é o principal rastreador do Googlebot?
O Googlebot Smartphone é o principal rastreador atualmente.
Token do agente do usuário: Googlebot
Cadeia completa do agente do usuário: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatível; Googlebot/2.1; +http://www.google.com/bot.html)
A lista completa de rastreadores do Googlebot pode ser encontrada aqui.
