Robots.txt
Éléments techniquesAussi appelé : Fichier robots, Protocole d'exclusion
Le robots.txt est un fichier placé à la racine d'un site qui indique aux robots quelles sections ils peuvent ou non explorer.
Le robots.txt est un fichier texte situé à la racine d'un domaine (exemple.com/robots.txt) qui donne des directives de crawl aux robots. Il s'appuie sur deux instructions principales : Disallow (interdire l'exploration) et Allow (autoriser).
Confusion la plus répandue, et la plus coûteuse : bloquer le crawl dans robots.txt n'empêche pas l'indexation. Si d'autres sites pointent vers une URL bloquée, Google peut l'indexer sans en lire le contenu, et l'afficher dans les résultats avec une description vide. Pour exclure une page de l'index, il faut une balise noindex, pas un blocage robots.txt.
Pire : si une page porte un noindex mais que son URL est aussi bloquée dans robots.txt, Google ne peut pas lire le noindex (il n'a pas le droit de crawler la page) et risque de la garder dans l'index. Les deux directives ne doivent jamais s'appliquer ensemble sur la même URL.
Le robots.txt sert surtout à préserver le crawl budget sur les gros sites, en empêchant Googlebot de gaspiller ses passages sur des sections sans valeur (recherche interne, paramètres de filtres). C'est aussi là qu'on déclare l'emplacement du sitemap.
À voir aussi.
// Éléments techniques
Noindex
Le noindex est une directive qui demande à Google de ne pas inclure une page dans son index, tout en la laissant accessible aux visiteurs.
définition →
// Notions de base
Crawl
Le crawl est l'exploration automatisée des pages d'un site par un robot de moteur de recherche, qui en télécharge le contenu pour analyse.
définition →
// Éléments techniques
Crawl budget
Le crawl budget est le volume de pages que Google accepte d'explorer sur un site dans un laps de temps donné.
définition →
// Éléments techniques
Sitemap
Un sitemap XML est un fichier qui liste les URLs d'un site pour aider les moteurs à les découvrir et à les explorer.
définition →
// passer à l'action
Diagnostiquer une URL.
Vérifier en 10 secondes si une page est indexable : noindex, robots.txt, canonical, statut HTTP. Diagnostic gratuit, 17 contrôles techniques.