// guide technique
Crawlers IA : GPTBot, OAI-SearchBot et les autres.
Tous les bots IA ne servent pas le même but. Distinguer entraînement, recherche et fetch utilisateur, connaître les user-agents qui comptent, et configurer un robots.txt qui autorise la citation sans donner son contenu à l'entraînement.
Les 3 familles de crawlers IA.
L'erreur la plus répandue est de traiter tous les bots IA comme un bloc. En réalité, ils se répartissent en trois familles aux conséquences très différentes pour votre visibilité.
// à retenir
Bloquer un crawler d'entraînement ne vous coupe pas de la citation. Ce sont deux mécanismes séparés : l'entraînement nourrit la connaissance de base du modèle, la recherche alimente les sources citées en temps réel. On peut refuser l'un et autoriser l'autre.
Entraînement
GPTBot, ClaudeBot, Google-Extended, CCBot. Alimentent les données d'entraînement long terme. Leur contenu devient connaissance de base du modèle pour des années.
Recherche
OAI-SearchBot, PerplexityBot, Claude-SearchBot. Construisent un index interrogé au moment de la réponse. C'est ce qui rend une page citable, même avant la prochaine mise à jour du modèle.
Fetch utilisateur
ChatGPT-User, Perplexity-User. S'activent quand un utilisateur pose une question précise et que l'IA va chercher une page en direct. Les bloquer empêche la récupération live.
Les user-agents à connaître.
Les principaux bots IA déclarés en 2026, par éditeur. La liste complète est plus longue (Amazonbot, Applebot, meta-externalagent, DuckAssistBot, Google-NotebookLM, etc.), mais ceux-ci couvrent l'essentiel des décisions.
OpenAI
GPTBot (entraînement) · OAI-SearchBot (index de ChatGPT Search) · ChatGPT-User (fetch en direct).
Anthropic (Claude)
ClaudeBot (entraînement) · Claude-SearchBot (recherche) · Claude-User (fetch en direct).
Perplexity
PerplexityBot (index de recherche) · Perplexity-User (fetch en direct).
Google-Extended (jeton d'opt-out pour l'entraînement Gemini, distinct de Googlebot qui gère l'indexation classique).
Commun
CCBot (Common Crawl, jeu de données réutilisé par de nombreux modèles) · Applebot-Extended (opt-out entraînement Apple).
Le robots.txt : citer sans entraîner.
La configuration la plus courante en 2026 pour un éditeur qui veut rester visible dans les réponses IA tout en protégeant son contenu de l'entraînement : autoriser la recherche et le fetch, refuser l'entraînement.
# Autoriser la citation (recherche + fetch en direct)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
# Refuser l'entraînement
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /Adapter selon votre choix : certains éditeurs autorisent aussi l'entraînement pour maximiser leur présence à long terme. L'essentiel est de décider en connaissance de cause, famille par famille. Rappel : la syntaxe robots.txt est détaillée dans le guide robots.txt.
// le bon réflexe
Pour rester citable dans ChatGPT et Perplexity, ne jamais bloquer OAI-SearchBot, PerplexityBot et les fetchers utilisateur. C'est l'erreur qui rend un site invisible des réponses IA tout en croyant juste refuser l'entraînement.
Pourquoi le robots.txt ne suffit pas.
Le robots.txt est une convention, pas une barrière technique. Il fonctionne avec les bots déclarés et respectueux, mais a ses limites face aux acteurs agressifs.
- Scrapers qui ignorent le robots.txt : de nombreux bots IA non déclarés ou agressifs n'en tiennent aucun compte.
- User-agents usurpés : certains bots se font passer pour un navigateur classique pour contourner les règles.
- Solution réelle : l'edge. Un pare-feu applicatif (WAF) ou des règles Cloudflare rejettent les requêtes à la source, indépendamment du robots.txt. Indispensable pour un blocage effectif.
Vérifier le passage des bots IA.
Seuls les logs serveur disent la vérité sur ce qui se passe réellement. Filtrer par user-agent pour mesurer le passage des crawlers IA, leur fréquence et les pages qu'ils visitent.
# Compter les hits des principaux bots IA dans un log Apache/Nginx
grep -iE "GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot" access.log \
| awk '{print $1}' | sort | uniq -c | sort -rnMême démarche que l'analyse de logs pour le crawl Googlebot. Croiser ces données avec les citations réelles dans ChatGPT et Perplexity permet de voir si l'indexation IA suit. Pour la suite côté citation, voir être cité par ChatGPT et Perplexity.
Questions fréquentes.
Quelle différence entre un crawler d'entraînement et un crawler de recherche IA ?
Trois familles. Les crawlers d'entraînement (GPTBot, ClaudeBot, Google-Extended, CCBot) alimentent les données d'entraînement long terme du modèle. Les crawlers de recherche (OAI-SearchBot, PerplexityBot, Claude-SearchBot) construisent un index interrogé en temps réel pour citer des sources. Les fetchers utilisateur (ChatGPT-User, Perplexity-User) récupèrent une page précise quand un utilisateur pose une question. Pour être cité sans nourrir l'entraînement, on autorise les deux dernières familles et on bloque la première.
Bloquer GPTBot empêche-t-il d'être cité par ChatGPT ?
Non, et c'est la confusion clé. GPTBot sert l'entraînement. C'est OAI-SearchBot qui alimente l'index de ChatGPT Search, et ChatGPT-User qui récupère une page en direct. Bloquer GPTBot mais autoriser OAI-SearchBot et ChatGPT-User permet d'apparaître dans ChatGPT sans donner son contenu à l'entraînement. Bloquer ces deux derniers, en revanche, vous coupe des réponses ChatGPT.
Comment autoriser la citation IA tout en refusant l'entraînement ?
Dans le robots.txt, autoriser les bots de recherche et de fetch (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User), refuser l'entraînement (GPTBot, ClaudeBot, CCBot) et se désinscrire de l'entraînement Google et Apple (Google-Extended, Applebot-Extended). Le template exact est plus bas.
Le robots.txt suffit-il à contrôler les bots IA ?
Pour les bots déclarés et respectueux, oui. Mais en 2026, beaucoup de scrapers ignorent le robots.txt ou usurpent leur user-agent. Pour réellement bloquer, il faut agir au niveau de l'infrastructure : un pare-feu applicatif (WAF) ou des règles edge (type Cloudflare) qui rejettent les requêtes à la source, avant même le robots.txt.
Google-Extended est-il un crawler distinct de Googlebot ?
Google-Extended n'est pas un crawler à proprement parler : c'est un jeton de contrôle dans le robots.txt qui décide si votre contenu peut servir à entraîner les modèles Gemini, sans affecter l'indexation Google classique. Le bloquer ne nuit pas à votre référencement Google : Googlebot continue de crawler et d'indexer normalement.
OAI-SearchBot rend-il le JavaScript comme Googlebot ?
Non. OAI-SearchBot, comme la plupart des crawlers IA, ne rend pas le JavaScript aussi bien que Googlebot. Un site qui dépend lourdement du rendu client (React, Vue sans SSR) risque d'être mal compris par les IA. Servir un HTML riche côté serveur est encore plus important pour la visibilité IA que pour Google. Détails dans le guide JavaScript SEO et indexation.
Comment savoir si les crawlers IA passent sur mon site ?
Dans les logs serveur, filtrer par user-agent : GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, etc. C'est la seule source fiable pour mesurer le passage réel des bots IA, leur fréquence et les pages visitées. Même logique que l'analyse de logs pour le crawl budget Googlebot.
// passer à l'action
De l'accès à la citation.
Une fois les crawlers IA autorisés, l'enjeu devient d'être effectivement choisi comme source. C'est l'objet du guide suivant.