¿Qué es Googlebot?
Googlebot es el nombre que reciben los rastreadores web de Google que recopilan información para varios servicios de Google, incluido su índice de búsqueda.
Tiene dos versiones principales: Googlebot Desktop y Googlebot Smartphone. Con la indexación mobile-first, Googlebot Smartphone se convirtió en el rastreador principal que impulsa el índice de búsqueda de Google.
¿Cómo funciona Googlebot?
Googlebot rastrea constantemente la web para descubrir nuevas páginas, envía las páginas para su procesamiento con el fin de añadirlas al índice de búsqueda y vuelve a rastrear las páginas en busca de información nueva/actualizada.
Durante este proceso, Googlebot sigue estrictamente las reglas de los archivos robots.txt y las directivas para rastreadores en páginas y enlaces.
¿Por qué es importante Googlebot?
Googlebot es una de las principales herramientas que impulsan todo el motor de búsqueda de Google. Sin él, toda la búsqueda (y por tanto el SEO) no existiría. Si Googlebot no rastreara un sitio web, éste no estaría indexado ni sería visible en los resultados.
Por lo tanto, los profesionales de SEO y los webmasters deben entender cómo funciona Googlebot. Además, es importante asegurarse de que el rastreador acceda al sitio correctamente, sin problemas de rastreabilidad o descubribilidad.
Buenas prácticas para un sitio web fácil de rastrear
Si desea que Googlebot rastree su sitio web correctamente y consiga indexar las páginas, debe asegurarse de que ciertas cosas están en su lugar. Dado que no se trata de un acontecimiento puntual, a continuación se indican algunas de las mejores prácticas que deben seguirse con regularidad para mantener un sitio web apto para el rastreo.
1. Compruebe su archivo Robots.txt
El archivo Robots.txt del sitio web le permite controlar lo que se rastrea. Se comunica con los robots mediante directivas de rastreo.
Debe asegurarse de que su archivo robots.txt no impide a Googlebot rastrear las páginas o secciones de su sitio web que desea indexar.
A continuación, busque errores en el archivo utilizando herramientas de comprobación de robots.txt.
Debe asegurarse de que Googlebot pueda acceder al archivo robots.txt, es decir, que no esté bloqueado a nivel de servidor.
2. Enviar los sitemaps
El envío de sitemaps es la forma más sencilla de informar a Google de las páginas que desea que rastreen e indexen.
Crear sitemaps no es complicado si utilizas cualquier plugin SEO popular en WordPress, como Yoast o Rank Math. Crearán automáticamente mapas de sitio para ti, que puedes enviar.
La URL generada tendrá el siguiente aspecto: sudominio.com/sitemap_index.html
Para enviar una URL de mapa del sitio manualmente, debe visitar Google Search Console y hacer clic en "Mapas del sitio" en la sección "Índice" del menú principal.
3. Utilice las directivas de rastreo con prudencia
Aparte del archivo robots.txt, existen directivas a nivel de página que notifican a los rastreadores qué páginas pueden (o no) ser rastreadas.
Por lo tanto, debe asegurarse de que las páginas que desea indexar no tengan una directiva "noindex". Del mismo modo, asegúrese de que no tienen una directiva "nofollow" si desea que también se rastreen sus enlaces salientes.
Puede utilizar SEO Toolbar para Chrome y Firefox para comprobar las directivas de sus páginas.
4. Proporcionar enlaces internos entre páginas
Otra forma sencilla de ayudar a que una página se indexe más rápido es enlazarla a otra página que ya esté indexada. Dado que Googlebot vuelve a rastrear las páginas, encontrará el enlace interno y lo rastreará rápidamente.
Aparte del rastreo, el enlazado interno pasa el llamado "link juice" a las páginas, aumentando su PageRank.
5. Utilizar la auditoría del sitio para detectar problemas de rastreabilidad e indexabilidad
Por último, puede utilizar las herramientas de Site Audit para encontrar problemas relacionados con la indexabilidad y la rastreabilidad de sus sitios web.
La Auditoría del sitio puede ayudarle a encontrar páginas rotas, redireccionamientos excesivos, cadenas de redireccionamientos, páginas no indexadas, enlaces nofollow, páginas huérfanas (sin enlaces internos), etc.
Puede supervisar la salud SEO de su sitio web de forma gratuita con herramientas como Ranktracker's Web Audit.
Preguntas frecuentes
¿Es lo mismo rastrear que indexar?
No, no son lo mismo. El rastreo implica descubrir páginas y enlaces en la web. La indexación consiste en almacenar, analizar y organizar el contenido y las conexiones entre las páginas encontradas durante el rastreo.
Sólo cuando una página está indexada puede mostrarse como resultado de las consultas pertinentes.
¿Puedo verificar si un rastreador web que accede a mi sitio es realmente Googlebot?
Si te preocupa que los spammers u otros creadores de problemas puedan acceder a tu sitio web diciendo ser robots de Google, puedes verificar el rastreador para ver si es realmente un rastreador de Google.
¿Cuál es el rastreador principal de Googlebot?
Googlebot Smartphone es el rastreador principal en la actualidad.
Agente de usuario token: Googlebot
Cadena completa del agente de usuario: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
La lista completa de rastreadores de Googlebot puede consultarse aquí.
