L'idée reçue du mois Publié le 15 août 2026 · sources vérifiées le 13 août 2026

robots.txt n'est pas un interrupteur. Trois éditeurs d'IA écrivent eux-mêmes qu'ils passent outre

L'essentiel

Google : « parce que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent les règles du robots.txt ».
Perplexity : « puisqu'un utilisateur a demandé la récupération, ce récupérateur ignore généralement les règles du robots.txt ».
OpenAI : « parce que ces actions sont initiées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer ».
La ligne de partage n'est pas l'entreprise, c'est qui déclenche la visite : un robot automatique respecte le fichier, une récupération demandée par un humain, non.
⚠ Donc « bloquez tout avec deux lignes dans votre robots.txt » est un conseil faux, et ce sont les éditeurs eux-mêmes qui le disent.

Wen DasnoisFondateur de Rank Press. J'ai ouvert et lu chaque source citée ici le 13 août 2026. LinkedIn · Ma page auteur

C'est le conseil le plus donné du moment : vous ne voulez pas que les IA lisent votre site, ajoutez quelques lignes dans votre robots.txt, et le problème est réglé. Le fichier est présenté comme un interrupteur, et l'affaire semble close.

Elle ne l'est pas, et la démonstration ne demande aucune expertise : il suffit de lire les documentations des éditeurs concernés. Ils écrivent eux-mêmes qu'une partie de leurs accès passe outre.

Trois documentations, trois aveux

Google, dans la page qui liste ses récupérateurs déclenchés par un utilisateur :

« User-triggered fetchers are initiated by users to perform a fetching function within a Google product. [...] Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules. »

Ma traduction : les récupérateurs déclenchés par l'utilisateur sont initiés par des utilisateurs pour réaliser une récupération dans un produit Google. Parce que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent généralement les règles du robots.txt. Source : Google, « List of Google user-triggered fetchers », developers.google.com, dernière mise à jour affichée le 16 juillet 2026, consultée le 13 août 2026.

Perplexity, dans sa documentation destinée aux webmestres, à propos de l'agent qui sert les questions posées par ses utilisateurs :

« Since a user requested the fetch, this fetcher generally ignores robots.txt rules. »

Ma traduction : puisqu'un utilisateur a demandé la récupération, ce récupérateur ignore généralement les règles du robots.txt. Source : Perplexity, « PerplexityBot », docs.perplexity.ai. Consultée le 13 août 2026.

OpenAI, à propos de l'agent utilisé quand quelqu'un pose une question à ChatGPT :

« ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply. »

Ma traduction : ChatGPT-User n'est pas utilisé pour explorer le web de façon automatique. Parce que ces actions sont initiées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer. Source : OpenAI, « Overview of OpenAI Crawlers », platform.openai.com. Consultée le 13 août 2026.

La ligne de partage, et elle est logique

Ce n'est pas de la mauvaise volonté, et il faut le dire honnêtement, sinon on comprend de travers. La distinction que font les trois éditeurs est la même, et elle a une logique :

Type d'accès	Respecte le robots.txt ?
Exploration automatique (constitution d'un index, entraînement)	Oui. C'est le cas nominal, et c'est là que vos règles s'appliquent
Récupération demandée par un humain (quelqu'un pose une question, colle votre adresse)	Non, ou pas nécessairement

Le raisonnement des éditeurs : quand une personne demande explicitement une page, la visite est assimilée à celle d'un visiteur, pas à celle d'un robot. On peut le contester, mais on ne peut pas dire qu'il est caché : les trois l'écrivent dans leur documentation publique.

Ce que ça implique concrètement : votre robots.txt gouverne bien ce qui alimente les index et les entraînements. Il ne gouverne pas ce qui se passe quand un utilisateur demande votre page à un assistant. Ce sont deux robinets différents, et le fichier n'en ferme qu'un.

Ne basculez pas dans le contresens inverse. Cet article ne dit pas que le robots.txt est inutile, ni que les IA font n'importe quoi. Il dit que ce fichier couvre l'exploration automatique, qui est le gros du volume, et pas les récupérations demandées par un humain. Le garder correctement réglé reste la première chose à faire. C'est la promesse d'étanchéité qui est fausse, pas l'outil.

Deux conséquences que personne ne tire

Première : un contenu réellement confidentiel n'a rien à faire derrière un robots.txt. Ce fichier est une demande de politesse, publique de surcroît : il énumère au monde entier les adresses que vous préférez cacher. Ce qui doit être protégé se protège par un mot de passe ou par une vraie restriction d'accès, pas par une ligne dans un fichier texte.

Seconde : bloquer ne vous rend pas invisible dans les réponses. Si quelqu'un colle votre adresse dans un assistant, la page sera très probablement lue. Et si vous avez bloqué l'exploration automatique, l'assistant travaillera sur ce qu'il trouve à cet instant, sans le contexte de votre site. Vous n'avez pas supprimé la citation, vous l'avez rendue moins bien informée.

Ce que ça change pour vous

Décidez robinet par robinet, pas en bloc. Refuser l'entraînement des modèles, garder l'indexation pour les moteurs de recherche des assistants, c'est un réglage à deux vitesses, et il est parfaitement faisable. Les trois éditeurs documentent des agents distincts pour ça, précisément pour permettre ce choix.

Ne payez pas pour une garantie d'étanchéité. Aucun prestataire ne peut vous la donner avec un robots.txt, et les documentations que je viens de citer suffisent à le prouver en trois minutes.

Vérifiez ce que votre extension écrit vraiment. Beaucoup d'extensions ajoutent des blocages sans dire lesquels. Ouvrez votre fichier, à la racine de votre site : c'est une adresse publique, vous pouvez la lire comme n'importe qui.

Et retenez le principe : le robots.txt exprime une préférence à des systèmes qui ont accepté de la respecter, dans les cas où ils ont dit qu'ils la respecteraient. C'est utile, c'est même indispensable, mais ce n'est pas une serrure.

Comment j'ai travaillé

J'ai téléchargé les trois documentations le 13 août 2026 et je les ai analysées en texte intégral. Les citations sont reprises mot pour mot dans leur langue d'origine, avec ma traduction annoncée comme telle. Chacune vient du site de l'éditeur concerné : je ne cite aucun annuaire de robots ni aucun article tiers sur ce sujet, parce que c'est exactement le terrain où les recopies se propagent.

Je n'ai pas vérifié dans des journaux de serveur si ces agents respectent ou non les règles en pratique. Ce serait une mesure intéressante, et elle demanderait de vérifier l'identité des robots par leurs plages d'adresses publiées, pas par leur signature déclarée. C'est le sujet d'une autre publication.

Cet article n'utilise aucune donnée d'aucun site utilisateur.

Sources

Primaire Google, « List of Google user-triggered fetchers » (« Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules »). Dernière mise à jour affichée : 16 juillet 2026. developers.google.com. Consultée et analysée en texte intégral le 13 août 2026.
Primaire Perplexity, documentation des robots destinée aux webmestres (« Since a user requested the fetch, this fetcher generally ignores robots.txt rules » ; distinction entre PerplexityBot et Perplexity-User ; plages d'adresses publiées). docs.perplexity.ai. Consultée et analysée en texte intégral le 13 août 2026.
Primaire OpenAI, « Overview of OpenAI Crawlers » (« Because these actions are initiated by a user, robots.txt rules may not apply » ; distinction entre OAI-SearchBot, GPTBot et ChatGPT-User ; plages d'adresses publiées). platform.openai.com. Consultée et analysée en texte intégral le 13 août 2026.