Crawl budget
Éléments techniquesAussi appelé : Budget de crawl, Budget d'exploration
Le crawl budget est le volume de pages que Google accepte d'explorer sur un site dans un laps de temps donné.
Le crawl budget désigne la quantité de pages qu'un robot de moteur de recherche (Googlebot, mais aussi Bingbot) explore sur un site pendant une période donnée. Il résulte de deux facteurs : la limite de capacité (ce que le serveur supporte sans ralentir) et la demande de crawl (l'intérêt de Google pour le site, fonction de sa popularité et de sa fraîcheur).
Pour la grande majorité des sites (moins de quelques milliers d'URLs), le crawl budget n'est pas un problème : Google explore tout sans difficulté. Le sujet devient critique au-delà de dizaines ou centaines de milliers de pages : gros e-commerce, médias, sites à navigation à facettes.
Sur ces sites, le gaspillage de crawl budget vient surtout de pages à faible valeur que Google explore inutilement : combinaisons de filtres, paramètres de tri, recherche interne, pages dupliquées. Le crawl dispersé sur ces URLs ralentit la découverte des pages importantes.
Leviers d'optimisation :
- bloquer les sections sans valeur via robots.txt ;
- consolider les doublons avec la canonical ;
- limiter les chaînes de redirection et accélérer le serveur.
Le suivi se fait via l'analyse des logs serveur et le rapport de statistiques d'exploration de Search Console.
À voir aussi.
// Notions de base
Crawl
Le crawl est l'exploration automatisée des pages d'un site par un robot de moteur de recherche, qui en télécharge le contenu pour analyse.
définition →
// Notions de base
Googlebot
Googlebot est le robot d'exploration de Google qui parcourt le web pour découvrir et télécharger les pages destinées à l'index.
définition →
// Éléments techniques
Robots.txt
Le robots.txt est un fichier placé à la racine d'un site qui indique aux robots quelles sections ils peuvent ou non explorer.
définition →
// Éléments techniques
Canonical
La balise canonical indique à Google quelle URL est la version principale à indexer lorsqu'un même contenu est accessible via plusieurs adresses.
définition →
// passer à l'action
Diagnostiquer une URL.
Vérifier en 10 secondes si une page est indexable : noindex, robots.txt, canonical, statut HTTP. Diagnostic gratuit, 17 contrôles techniques.