Crawl
Notions de baseAussi appelé : Exploration, Crawling
Le crawl est l'exploration automatisée des pages d'un site par un robot de moteur de recherche, qui en télécharge le contenu pour analyse.
Le crawl (ou exploration) est l'opération par laquelle un robot comme Googlebot télécharge le contenu d'une page web : HTML, puis ressources liées (CSS, JavaScript, images). C'est l'étape qui précède l'indexation.
Le robot suit les liens de page en page pour découvrir de nouvelles URLs, et revient périodiquement sur les pages connues pour détecter les mises à jour. La fréquence de retour dépend de l'autorité du site, de la fréquence de publication et de la vitesse du serveur.
Crawl et indexation sont deux étapes distinctes. Une page peut être crawlée des dizaines de fois sans jamais être indexée, et inversement une page anciennement indexée peut ne plus être crawlée pendant des mois. Confondre les deux mène à de mauvais diagnostics.
Sur les gros sites, le volume de pages que Google accepte de crawler sur une période donnée est limité : c'est le crawl budget. Le fichier robots.txt permet d'autoriser ou de bloquer le crawl de certaines sections, mais bloquer le crawl n'empêche pas toujours l'indexation : c'est une confusion classique à éviter.
Pour vérifier comment Google crawle réellement une URL, l'outil d'inspection de Search Console affiche la date du dernier crawl, le robot utilisé et le rendu obtenu.
À voir aussi.
// Notions de base
Googlebot
Googlebot est le robot d'exploration de Google qui parcourt le web pour découvrir et télécharger les pages destinées à l'index.
définition →
// Éléments techniques
Crawl budget
Le crawl budget est le volume de pages que Google accepte d'explorer sur un site dans un laps de temps donné.
définition →
// Notions de base
Indexation
L'indexation est l'étape où Google enregistre une page dans son index pour pouvoir l'afficher dans les résultats de recherche.
définition →
// Éléments techniques
Robots.txt
Le robots.txt est un fichier placé à la racine d'un site qui indique aux robots quelles sections ils peuvent ou non explorer.
définition →
// passer à l'action
Diagnostiquer une URL.
Vérifier en 10 secondes si une page est indexable : noindex, robots.txt, canonical, statut HTTP. Diagnostic gratuit, 17 contrôles techniques.