robots.txt et IA : quelles lignes écrire pour autoriser ou bloquer les robots

Pour autoriser un robot d'IA, vous n'avez en général rien à écrire : un robot que votre fichier ne nomme pas applique le groupe User-agent: *, et tout ce qui n'y est pas interdit lui est permis. Pour en bloquer un, deux lignes suffisent : son nom exact après User-agent:, puis Disallow: /. Le vrai travail consiste à choisir le bon nom, car les grands éditeurs séparent désormais le robot qui entraîne leurs modèles de celui qui vous fait apparaître dans leurs réponses.

Cet article fait partie de notre guide de la visibilité dans les IA. Les noms et effets décrits viennent des pages officielles des éditeurs et de la norme RFC 9309, relues le 14 octobre 2026.

Comment un robot lit-il votre fichier robots.txt ?

Le fichier se place à la racine du site (votresite.fr/robots.txt), en texte brut. Il se découpe en groupes : une ou plusieurs lignes User-agent: qui nomment des robots, suivies de règles Allow: (autorisé) ou Disallow: (interdit) qui portent sur un début d'adresse. La norme qui le décrit, la RFC 9309 publiée par l'IETF en septembre 2022, tient en trois règles :

• Un robot cherche le groupe qui porte son nom, sans tenir compte des majuscules. S'il n'en trouve aucun, il applique le groupe User-agent: *.
• Ce qui n'est pas interdit est autorisé. Si aucune règle du groupe ne correspond à une adresse, la RFC la considère comme permise.
• La règle la plus précise l'emporte, c'est-à-dire celle dont le chemin est le plus long. À égalité entre une autorisation et une interdiction, l'autorisation devrait s'appliquer.

La première règle a une conséquence que beaucoup de sites oublient : dès qu'un robot a son propre groupe, il ne lit plus le groupe général. Google l'écrit sans détour dans sa documentation :

Prenons ce fichier :

User-agent: *
Disallow: /wp-admin/
Disallow: /mon-compte/

User-agent: GPTBot
Allow: /

GPTBot ne lit que ses deux dernières lignes : l'interdiction sur /mon-compte/ ne le concerne plus. Si vous créez un groupe pour un robot, recopiez-y toutes les interdictions qui doivent rester valables pour lui.

Deux précisions pratiques. Le fichier ne vaut que pour l'adresse où il se trouve : Anthropic demande de faire la manipulation pour chaque sous-domaine que vous voulez protéger. Et un changement n'est pas instantané : la RFC autorise un robot à garder le fichier en mémoire jusqu'à 24 heures. OpenAI (pour sa recherche) et Amazon annoncent environ 24 heures avant de tenir compte d'une modification, Perplexity et Meta 24 heures au plus, et DuckDuckGo 72 heures.

Quels noms écrire, et que coupe chaque blocage ?

OpenAI, Anthropic, Perplexity et Mistral AI publient chacun plusieurs robots aux rôles distincts. Google et Apple, eux, proposent un jeton : un nom qui n'explore rien mais qui dit ce que vous acceptez qu'on fasse de vos contenus. Voici les noms à écrire après User-agent:, avec ce que chaque éditeur dit lui-même de l'effet d'un blocage.

Retenez la ligne de partage : bloquer GPTBot ou ClaudeBot ne vous sort pas des réponses de ChatGPT ou de Claude. OpenAI le dit en toutes lettres : chaque réglage est indépendant des autres. Nous détaillons le cas d'OpenAI dans notre article sur GPTBot et comparons tous ces robots dans notre guide des robots des IA.

Et Google, Microsoft, Meta, Amazon ?

Google n'a pas de robot réservé à ses Aperçus IA : ils passent par Googlebot, le robot de sa recherche. Sa documentation l'explique ainsi :

Autrement dit, la seule ligne de robots.txt qui touche les Aperçus IA est celle qui vise Googlebot, et elle vaut pour toute la recherche Google, pas seulement pour l'IA. Pour limiter ce que Google montre de vos pages, sa documentation renvoie à des balises (nosnippet, max-snippet, noindex). Une erreur répandue consiste à croire que bloquer Google-Extended vous fait sortir des Aperçus IA : nous la démontons dans Google-Extended ne vous retire pas des Aperçus IA. Notez au passage que Google-Extended couvre aussi l'ancrage dans les applications Gemini : le bloquer peut vous priver de ce rôle de source chez Gemini, sujet que nous traitons dans être cité par Gemini.

Microsoft a choisi une autre voie dans son billet de septembre 2023 : pas de robot d'IA à nommer, mais des balises placées dans vos pages (noarchive et nocache) pour limiter l'usage de vos contenus dans les réponses de son assistant, alors appelé Bing Chat. Ces pages restent dans ses résultats de recherche. Ses pages d'aide actuelles le confirment : noarchive retire le lien vers votre page dans Copilot et exclut le contenu de l'entraînement des modèles de Microsoft, nocache limite l'usage à l'adresse, au titre et à l'extrait, et l'emporte si les deux balises sont posées. Le détail est dans être cité par Microsoft Copilot et Bing.

Meta documente Meta-ExternalAgent (entraînement ou indexation pour ses produits), Meta-WebIndexer (recherche de Meta AI) et Meta-ExternalFetcher (visites à la demande, qui peuvent contourner robots.txt). Amazon documente Amazonbot (ses produits, entraînement possible), Amzn-SearchBot (recherche, par exemple pour Alexa) et Amzn-User (visites à la demande).

Quelles lignes copier selon ce que vous voulez ?

Cas 1 : tout laisser ouvert

Vous n'avez rien à ajouter. Sur un WordPress sans fichier écrit à la main, WordPress produit lui-même ces trois lignes, d'après le code de sa fonction do_robots (plus, depuis la version 5.5, une ligne Sitemap vers son plan du site) :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Tous les robots d'IA que ce fichier ne nomme pas peuvent explorer le site entier, sauf l'administration. Depuis la version 5.3, la case de WordPress qui demande aux moteurs de ne pas indexer le site n'écrit plus d'interdiction dans robots.txt : elle passe par une balise dans les pages.

Cas 2 : refuser l'entraînement, rester citable

Plusieurs lignes User-agent: à la suite partagent les mêmes règles. Ce bloc refuse l'entraînement chez OpenAI, Anthropic, Google, Apple et Mistral AI :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: MistralAI-Training
Disallow: /

Les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, MistralAI-Index) ne sont pas nommés : ils suivent votre groupe général et restent autorisés. Deux cas demandent réflexion avant de les ajouter à la liste : Meta-ExternalAgent et Amazonbot servent à la fois l'entraînement et d'autres usages, que vous couperiez aussi. Et Google-Extended, nous l'avons vu, compte aussi pour l'ancrage dans Gemini.

Cas 3 : fermer une partie du site à un seul robot

Si vous ne voulez pas, par exemple, que la recherche de ChatGPT reprenne une grille de tarifs réservée à vos revendeurs, donnez un groupe à OAI-SearchBot et recopiez-y vos interdictions générales :

User-agent: *
Disallow: /wp-admin/
Disallow: /espace-client/

User-agent: OAI-SearchBot
Disallow: /wp-admin/
Disallow: /espace-client/
Disallow: /tarifs-revendeurs/

Sans les deux premières lignes du second groupe, OAI-SearchBot aurait le droit d'explorer /wp-admin/ et /espace-client/, puisqu'il ne lit plus le groupe général.

Que contient le robots.txt de rankpress.com ?

Nous avons vérifié le 14 octobre 2026 le fichier robots.txt de notre propre site, puis nous l'avons fait lire par un petit script qui applique les règles de la RFC 9309. En voici un extrait raccourci (les parenthèses marquent nos coupes) :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
(…)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Amzn-SearchBot
Allow: /
Disallow: /wp-admin/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
(…)

Ce que nous y avons constaté :

1. Les trois premières lignes sont celles de WordPress, à l'identique, tout comme la ligne Sitemap qui pointe vers wp-sitemap.xml. Le reste est ajouté par notre propre extension, via le point d'accroche officiel que WordPress prévoit pour cela (le filtre robots_txt).
2. La règle des groupes se voit en vrai. Selon notre script, l'adresse technique /wp-admin/admin-ajax.php est autorisée pour GPTBot, qui suit le groupe général, et interdite pour OAI-SearchBot, qui suit le groupe des robots de recherche et de citation. Ici sans conséquence (c'est une adresse interne), mais c'est exactement ce qui arrive à une interdiction oubliée.
3. GPTBot, ClaudeBot et Google-Extended ne sont pas nommés. Ils suivent le groupe général et peuvent tout explorer sauf l'administration : c'est un choix assumé, nous acceptons l'entraînement.
4. Une liste de noms vieillit. Les éditeurs ajoutent des robots : Mistral documente aujourd'hui un robot d'indexation, MistralAI-Index, en plus de son robot de visite MistralAI-User (voir comment être cité par Le Chat de Mistral AI). Un robot que votre fichier ne nomme pas suit le groupe général : moins vous nommez de robots, moins votre fichier se démode.
5. La ligne Content-Signal n'est pas prise en charge par Google : sa documentation ne cite que quatre champs, user-agent, allow, disallow et sitemap. Nous expliquons ce que vaut ce nouveau vocabulaire dans Content Signals, une préférence et pas un verrou.

Le même jour, nous avons appelé notre page d'accueil en nous présentant sous les signatures de GPTBot, OAI-SearchBot, ClaudeBot et PerplexityBot : quatre réponses normales (code 200). Ce test montre seulement que notre pare-feu ne refuse pas ces noms. Il ne prouve pas que les vrais robots passent, puisque nous n'utilisions pas leurs adresses, et n'importe qui peut emprunter une signature : nous l'expliquons dans n'importe qui peut se faire passer pour ChatGPT.

Pourquoi une ligne de robots.txt ne suffit-elle pas toujours ?

D'abord parce que robots.txt est une demande, pas une serrure. La RFC 9309 le dit dès son introduction :

La même norme rappelle qu'écrire un chemin dans robots.txt le rend public : pour un contenu vraiment privé, il faut un mot de passe, pas une ligne de texte. Ensuite, plusieurs limites concrètes :

• Les visites lancées par un utilisateur. OpenAI (ChatGPT-User), Perplexity (Perplexity-User), Meta (Meta-ExternalFetcher) et Amazon (Amzn-User) écrivent que ces visites peuvent ne pas suivre robots.txt. Anthropic et Mistral AI présentent au contraire Claude-User et MistralAI-User comme soumis à vos règles. Nous comparons ces textes dans robots.txt n'est pas un interrupteur.
• Votre pare-feu peut bloquer à votre place. Google recommande de vérifier que l'exploration est permise dans robots.txt et aussi par votre hébergement ou votre réseau de diffusion. Perplexity documente la marche à suivre pour laisser passer ses robots derrière un pare-feu. Et Anthropic prévient que bloquer ses adresses l'empêche de lire votre robots.txt.
• Interdire l'exploration n'interdit pas l'indexation. Google écrit que robots.txt n'est pas un moyen de garder une page hors de ses résultats : si d'autres pages pointent vers elle, il peut l'indexer sans la visiter. Voir bloquer une page dans robots.txt ne l'empêche pas d'être dans Google.
• Certaines lignes ne sont pas lues par tous. La ligne crawl-delay, lue de quatre façons différentes, demande de ralentir : elle n'est pas prise en charge par Google, n'est pas suivie par Apple ni par Amazon, mais Anthropic l'accepte. Apple, de son côté, applique les règles écrites pour Googlebot quand vous n'avez rien écrit pour Applebot, et Amazon indique qu'Amzn-SearchBot, s'il n'est pas nommé, suit les règles données aux autres robots de recherche.
• llms.txt n'autorise ni n'interdit rien. C'est un autre fichier, au rôle différent, et Google écrit que sa recherche ne l'utilise pas (« Google Search itself doesn't use them », dans son guide sur l'IA générative mis à jour le 10 juillet 2026). Pour les détails, lisez llms.txt, qu'est-ce que c'est.

Comment modifier votre robots.txt sur WordPress ?

Commencez par ouvrir votresite.fr/robots.txt dans votre navigateur : ce qui s'affiche est la seule chose que les robots lisent, quelle que soit l'extension qui l'a écrit. Sur un site sans fichier écrit à la main, c'est WordPress qui le produit, et une extension peut le compléter par le filtre robots_txt, comme le fait la nôtre. Si votre extension SEO propose un éditeur de robots.txt, passez par lui plutôt que de créer un second fichier : vous éviterez deux versions qui se contredisent.

Après chaque modification, rouvrez l'adresse, puis comptez jusqu'à 24 heures chez la plupart des éditeurs, et 72 heures chez DuckDuckGo, avant que les robots n'en tiennent compte. Gardez le fichier court : Google ignore ce qui dépasse 500 kibioctets, et chaque nom ajouté est une ligne de plus à tenir à jour.