Robots.txt et indexation : ce qu'il faut savoir.

À quoi sert robots.txt (et ce qu'il ne fait pas).

Le fichier /robots.txt placé à la racine d'un domaine indique aux robots de crawl (Googlebot, Bingbot, etc.) quelles URLs récupérer et lesquelles ignorer. C'est un protocole défini par le Robots Exclusion Protocol et standardisé par l'IETF en 2022 (RFC 9309).

Ce que robots.txt fait

• Empêcher Googlebot de récupérer (crawler) certaines URLs : économise du crawl budget sur les gros sites.
• Déclarer la localisation du sitemap XML : facilite la découverte par tous les moteurs de recherche.
• Différencier les règles selon le bot : autoriser Googlebot mais bloquer un crawler agressif d'analyse SEO concurrent, par exemple.

Ce que robots.txt ne fait PAS

• Désindexer une page. Disallow empêche le crawl, mais l'URL peut rester ou apparaître dans Google si elle est linkée. Pour désindexer, utiliser noindex (voir statuts d'exclusion GSC).
• Sécuriser des données privées. Le fichier est public (n'importe qui peut lire votresite.com/robots.txt), il révèle au contraire les chemins sensibles. Pour protéger, utiliser une authentification serveur.
• Forcer le respect par tous les bots. C'est une convention. Les bots malveillants l'ignorent. Bloquer côté firewall ou User-agent serveur si besoin réel.

Wildcards * et terminaison $.

Deux caractères spéciaux supportés par Google et la plupart des moteurs majeurs : * (n'importe quelle séquence) et $ (fin de chaîne). Indispensables pour gérer les paramètres d'URL, les filtres et les extensions de fichiers.

Le wildcard *

User-agent: *
Disallow: /*?tri=
Disallow: /*?couleur=
Disallow: /*/preview/

Bloque toutes les URLs qui contiennent ?tri= ou ?couleur= n'importe où dans le path (paramètres de filtres e-commerce). Bloque aussi /n-importe-quoi/preview/. Utile pour la faceted navigation qui multiplie les variantes d'URL d'un même contenu.

La terminaison $

User-agent: *
Disallow: /*.pdf$
Disallow: /*.xls$
Allow: /docs/public/*.pdf$

Bloque toutes les URLs qui se terminent par .pdf ou .xls, sauf les PDFs publics dans /docs/public/. Sans le $, /*.pdf bloquerait aussi /document.pdf?download=1 mais aussi toute URL qui contient ".pdf" suivi d'autres caractères, ce qui peut être imprévisible.

Cas concrets fréquents

• E-commerce avec filtres : Disallow: /*? bloque toutes les URLs avec paramètres de query string.
• Pages de session : Disallow: /*sessionid= évite l'indexation de variantes avec ID de session.
• Tracking UTM : Disallow: /*?utm_ bloque les URLs avec paramètres UTM (à coupler avec canonical sur la version propre).

Cas WordPress 2026.

WordPress génère un robots.txt virtuel par défaut. La plupart des plugins SEO (Yoast, Rank Math, SEOPress) le surchargent. La configuration recommandée a évolué depuis le passage au mobile-first indexing : ne plus bloquer les répertoires qui contiennent CSS, JS et images. Détails plus bas et dans le guide indexation WordPress.

À ne plus faire en 2026

# Configuration obsolète, à NE PAS utiliser
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

Bloquer /wp-content/ empêche Googlebot de récupérer les CSS du thème, les JS, les images uploadées. Conséquence : Google ne peut pas vérifier le rendu responsive, et le site est déclassé sur mobile. /wp-includes/ contient aussi des fichiers JS critiques (jQuery, etc.).

Configuration recommandée 2026

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Bloquer les pages utilitaires sans valeur SEO
Disallow: /?s=
Disallow: /author/
Disallow: /trackback/
Disallow: /*/feed/
Disallow: /*?replytocom

Sitemap: https://exemple.com/sitemap_index.xml

Lecture : seul /wp-admin/ est bloqué (avec exception pour admin-ajax.php qui sert à des fonctionnalités front). /wp-content/ et /wp-includes/ restent accessibles. Les pages parasites SEO (recherche interne, archives auteur, flux RSS) sont exclues.

Pièges WordPress fréquents

• Robots.txt physique vs virtuel : si un fichier robots.txt existe physiquement à la racine, WordPress n'utilise plus le virtuel. Vérifier ce qui est servi via curl https://exemple.com/robots.txt.
• "Décourager les moteurs" en Réglages > Lecture : cette case ajoute Disallow: / au robots.txt virtuel. À décocher impérativement avant la mise en production.
• Plugin de cache : certains plugins (WP Super Cache, W3 Total Cache) génèrent des URLs de variantes que Google peut crawler inutilement. Bloquer les URLs de cache si exposées.
• WooCommerce : ajouter Disallow: /panier/, Disallow: /commande/, Disallow: /mon-compte/. Ces pages n'ont aucune valeur SEO et consomment du crawl budget.

Les 6 erreurs courantes.

Six pièges qui sabotent l'indexation ou le rendu mobile. À auditer systématiquement sur tout robots.txt avant déploiement.