Googlebot
Notions de baseAussi appelé : Robot Google, Crawler Google
Googlebot est le robot d'exploration de Google qui parcourt le web pour découvrir et télécharger les pages destinées à l'index.
Googlebot est le nom du robot (ou "crawler") de Google. Son rôle est de parcourir le web en suivant les liens, de télécharger le contenu des pages, puis de transmettre ces données au système d'indexation. C'est l'agent qui réalise concrètement le crawl.
Depuis la généralisation du mobile-first indexing, Google explore l'ensemble du web avec Googlebot Smartphone : c'est la version mobile des pages qui sert de référence à l'indexation. Une variante desktop existe encore pour des cas marginaux, mais la version mobile fait foi.
Googlebot s'identifie via un user-agent spécifique dans les logs serveur, ce qui permet de distinguer son activité de celle des autres robots. Google publie aussi les plages d'adresses IP officielles, indispensables pour vérifier qu'un robot prétendant être Googlebot l'est réellement (de nombreux scrapers usurpent son nom).
Googlebot rend les pages en deux temps lorsqu'elles dépendent de JavaScript : un premier passage lit le HTML brut, un second exécute le JavaScript quand les ressources sont disponibles. Ce rendu différé peut retarder l'indexation des sites qui s'appuient massivement sur le rendu côté client (voir le guide JavaScript SEO).
À distinguer des robots de Google dédiés à d'autres usages (Googlebot-Image, Google-Extended pour l'IA) et des crawlers IA tiers comme GPTBot ou PerplexityBot.
À voir aussi.
// Notions de base
Crawl
Le crawl est l'exploration automatisée des pages d'un site par un robot de moteur de recherche, qui en télécharge le contenu pour analyse.
définition →
// Éléments techniques
Mobile-first indexing
Le mobile-first indexing signifie que Google utilise la version mobile d'une page comme référence pour l'indexation et le classement.
définition →
// Notions de base
Index Google
L'index Google est l'immense base de données où Google stocke les pages crawlées et jugées dignes d'apparaître dans les résultats de recherche.
définition →
// Éléments techniques
Robots.txt
Le robots.txt est un fichier placé à la racine d'un site qui indique aux robots quelles sections ils peuvent ou non explorer.
définition →
// passer à l'action
Diagnostiquer une URL.
Vérifier en 10 secondes si une page est indexable : noindex, robots.txt, canonical, statut HTTP. Diagnostic gratuit, 17 contrôles techniques.