Les robots des IA (ClaudeBot, PerplexityBot, Google-Extended) : le guide complet

L'expression « robots des IA » recouvre quatre choses différentes : des robots qui collectent des pages pour entraîner les modèles, des robots qui construisent l'index grâce auquel une IA peut vous citer, des agents qui visitent une page parce qu'un utilisateur vient de poser une question, et de simples jetons de préférence, comme Google-Extended, qui n'explorent rien du tout. Les éditeurs documentent désormais ces rôles séparément. Bloquer le mauvais nom peut donc vous retirer des réponses sans rien protéger, ou laisser passer exactement ce que vous vouliez refuser.

Cet article fait partie de notre guide de la visibilité dans les IA. Il sert de référence : le 14 octobre 2026, nous avons ouvert la documentation officielle de onze organisations (OpenAI, Anthropic, Perplexity, Google, Apple, Microsoft, Meta, Mistral, Amazon, Common Crawl et DuckDuckGo), et nous ne reportons ici que ce qu'elles écrivent elles-mêmes. Pour les lignes exactes à copier dans votre fichier, voyez notre article robots.txt et IA : quelles lignes écrire.

Pourquoi un même éditeur a-t-il plusieurs robots ?

Parce que les usages sont différents, et que les éditeurs veulent vous laisser décider usage par usage. OpenAI le résume en une phrase dans sa page consacrée à ses robots :

Concrètement, on retrouve quatre familles chez la plupart des éditeurs :

• Les robots d'entraînement collectent des pages qui pourront servir à entraîner de futurs modèles.
• Les robots de recherche construisent l'index où l'IA puise ses sources au moment de répondre.
• Les visites à la demande ont lieu quand un utilisateur pose une question et que l'assistant va lire une page précise pour lui répondre.
• Les jetons de préférence ne visitent rien : ce sont des noms à écrire dans robots.txt pour dire comment un contenu déjà collecté peut être utilisé.

Une précision avant les tableaux : quand nous écrivons qu'un robot respecte robots.txt, c'est ce que son éditeur affirme, pas une garantie. La norme qui décrit robots.txt, publiée par l'IETF sous le numéro RFC 9309, le dit elle-même : ses règles « are not a form of access authorization » (notre traduction : ne constituent pas une autorisation d'accès). C'est une convention que les robots honnêtes suivent, pas un verrou.

Quels robots servent à entraîner les modèles ?

Refuser ces robots ne vous retire pas, en principe, des réponses : OpenAI écrit qu'un site peut autoriser son robot de recherche tout en refusant GPTBot (voir GPTBot : faut-il l'autoriser ?). Deux nuances. Anthropic parle des contenus « futurs » : sa page ne promet rien pour ce qui a déjà été collecté. Et Meta mêle entraînement et indexation sous le même nom, sans détailler dans sa page ce que le refus change pour Meta AI (nous avons analysé sa documentation sur robots.txt et la balise NoAI).

CCBot mérite une ligne à part. Common Crawl n'est pas un assistant : c'est une fondation qui publie une archive du web accessible à tous. Refuser CCBot arrête les captures à venir, et la fondation propose aussi un registre de retrait. Sa FAQ précise qu'elle n'archive en général pas un site entier mais un « randomly selected subset » (notre traduction : un sous-ensemble choisi au hasard), comme nous l'expliquons dans Common Crawl n'a pas copié tout votre site.

Quels robots vous rendent citable dans les réponses des IA ?

C'est la famille qui compte pour être cité : bloquer l'un de ces noms, c'est sortir de l'index d'un assistant.

Trois remarques pour lire ce tableau. La liste officielle des robots courants de Google ne comporte aucun robot dédié aux Aperçus IA. Google les présente comme des fonctionnalités de Google Search, et sa liste précise que les réglages adressés à Googlebot valent pour « all Google Search features » (notre traduction : toutes les fonctionnalités de Google Search). Pour régler votre présence dans les Aperçus IA, aucun nom de robot n'est à chercher : nous détaillons les leviers dans comment apparaître dans les Aperçus IA.

Chez Microsoft, la liste officielle des robots de Bing ne comporte aucun robot dédié à l'IA. Les usages pour Copilot passent par des balises placées dans vos pages :

Enfin, deux éditeurs donnent un mode d'emploi détaillé pour leurs robots de recherche : nous l'avons repris dans être cité par Claude et être cité par Perplexity.

Les visites à la demande : quand robots.txt ne suffit plus

Quand un utilisateur demande à un assistant de lire une page, la visite ressemble davantage à celle d'un navigateur qu'à celle d'un robot. Plusieurs éditeurs en tirent une conséquence importante :

Retenez la logique : pour la plupart des éditeurs, robots.txt encadre l'exploration automatique, pas la visite qu'un humain a demandée. Anthropic et Mistral font exception. Nous avons comparé ces formulations dans robots.txt n'est pas un interrupteur.

Google-Extended et Applebot-Extended : des noms qui n'explorent rien

Ces deux noms prêtent à confusion. Google-Extended n'a même pas de signature propre : Google explique que l'exploration se fait avec ses robots habituels, et que ce nom sert seulement de réglage dans robots.txt. Vous ne le verrez donc jamais dans vos journaux de visites. Il décide si les contenus collectés peuvent servir à entraîner les futurs modèles Gemini et à fournir des sources à l'application Gemini et à l'offre Vertex AI. Et surtout :

Le refuser ne vous fait donc pas sortir des Aperçus IA, une confusion que nous avons démontée dans Google-Extended ne vous retire pas des Aperçus IA. Apple fonctionne de la même manière avec son propre jeton :

Refuser l'un de ces jetons est donc un refus d'usage (l'entraînement, et chez Google aussi l'usage comme source dans l'application Gemini), pas un retrait de la recherche. Le détail côté Apple est dans Applebot-Extended, un jeton de préférence.

Ce que nous avons vérifié sur notre propre site

Nous avons vérifié le 14 octobre 2026 que le fichier robots.txt de rankpress.com nommait explicitement neuf agents de recherche et de visite, regroupés sous une même règle qui les autorisait partout sauf dans l'administration : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, DuckAssistBot, MistralAI-User et Amzn-SearchBot. Les robots d'entraînement (GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent, Amazonbot, MistralAI-Training) et les jetons Google-Extended et Applebot-Extended n'y sont pas nommés. Selon la norme, un robot qui ne trouve aucun groupe à son nom suit la règle générale, et la nôtre n'interdit que l'administration de WordPress. Nous acceptons donc aussi l'entraînement : c'est un choix assumé, que le fichier déclare d'ailleurs en clair dans une ligne de préférences (voir notre analyse de ces signaux de contenu).

Le même jour, nous avons demandé une page de notre site comme un navigateur ordinaire, puis avec les signatures de ClaudeBot, GPTBot, PerplexityBot, MistralAI-User, CCBot, Amazonbot et Bingbot : les huit requêtes ont reçu une réponse normale (code 200) et la même page. Limite honnête : ces requêtes partaient de notre machine, pas des adresses des éditeurs. Elles prouvent qu'aucun filtre ne refuse ces noms sur la seule base de leur signature ; elles ne prouvent pas qu'un pare-feu qui vérifie les adresses laisserait passer les vrais robots, un piège que nous décrivons dans le blocage que vous n'avez jamais décidé.

Dernier constat, plus instructif : la page de Mistral décrit aujourd'hui un agent d'indexation, MistralAI-Index, en plus de son robot de visite (voir comment être cité par Le Chat de Mistral AI). Un fichier qui nomme les robots un par un doit donc être relu de temps en temps : ces listes vieillissent vite, et un robot non nommé suit votre règle générale.

Un absent notable : xAI, l'éditeur de Grok, ne décrit aucun robot d'exploration dans sa documentation publique, ni nom, ni adresses, ni moyen de le refuser. Nous expliquons ce que cela change dans comment être cité par Grok.

Comment choisir selon votre objectif ?

Avant de trancher, mesurez ce que chaque refus coûte : les éditeurs eux-mêmes le documentent, et nous avons rassemblé leurs formulations dans bloquer les IA a un prix.

Quels pièges éviter ?

• Les règles qui s'héritent. Apple écrit que si votre fichier ne mentionne pas Applebot mais mentionne Googlebot, son robot suit les règles de Googlebot. Amazon fait de même pour Amzn-SearchBot avec les règles données aux autres robots de recherche. Un blocage pensé pour Google peut donc en toucher d'autres (voir les règles écrites pour Googlebot engagent d'autres robots).
• Un nom affiché ne prouve rien. Google, Microsoft et Common Crawl préviennent que la signature d'un robot peut être imitée. Les éditeurs publient leurs adresses pour permettre la vérification (voir n'importe qui peut se faire passer pour ChatGPT).
• Bloquer par adresse plutôt que par robots.txt. Anthropic avertit que bloquer ses adresses peut empêcher son robot de lire votre robots.txt, et donc de prendre en compte votre refus de façon durable.
• Attendre le bon délai. OpenAI (pour la recherche) et Amazon parlent d'environ 24 heures, Perplexity et Meta de 24 heures au plus, DuckDuckGo de 72 heures.
• Confondre robots.txt et llms.txt. Le premier dit qui peut entrer ; le second propose un résumé de votre site. Google écrit que Google Search n'utilise pas les fichiers de ce type et qu'ils ne sont pas nécessaires pour apparaître dans ses fonctionnalités d'IA (voir notre lecture de la position de Google sur llms.txt). Notre plugin gratuit Rank Press AI Visibility en crée un pour les autres systèmes qui le lisent, et suit les visites des robots d'IA sur votre site, mais un llms.txt ne remplace jamais une règle de robots.txt.

En résumé, pour chaque nom, demandez-vous s'il s'agit d'un robot d'entraînement, de recherche, d'une visite à la demande ou d'un jeton : la réponse dit ce que son blocage fera vraiment.