Le conseil est devenu un réflexe : « ajoutez ces lignes à votre robots.txt et bloquez tous les robots d'IA ». Des listes toutes faites circulent, des extensions le proposent en un clic, et elles partent toutes du principe que ce blocage ne coûte rien.
Or les éditeurs concernés documentent, agent par agent, ce qui se passe quand on bloque leurs robots. Chaque blocage coupe une fonction précise : l'entraînement des modèles, la présence dans les réponses de recherche, ou la lecture d'une page qu'un utilisateur a demandée.
OpenAI distingue ses agents et documente l'effet du refus de celui qui alimente la recherche de ChatGPT :
« Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links. »
Ma traduction : les sites qui ont refusé OAI-SearchBot ne seront pas montrés dans les réponses de recherche de ChatGPT, même s'ils peuvent encore apparaître comme liens de navigation. Source : OpenAI, « Overview of OpenAI Crawlers », platform.openai.com. Consultée le 13 août 2026.
Refuser OAI-SearchBot retire votre site des réponses de recherche de ChatGPT, où il ne peut plus figurer que comme lien de navigation. OpenAI précise dans la même page que ce robot n'est pas celui de l'entraînement : refuser la recherche et refuser l'entraînement s'écrivent sur deux lignes différentes du même fichier.
Anthropic publie un tableau qui indique, agent par agent, « ce qui se passe quand vous le désactivez ». Pour l'agent qui répond aux questions des utilisateurs de Claude :
« Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search. »
Ma traduction : désactiver Claude-User sur votre site empêche notre système de récupérer votre contenu en réponse à la requête d'un utilisateur, ce qui peut réduire la visibilité de votre site dans la recherche web dirigée par l'utilisateur. Source : Anthropic, centre d'aide, article sur l'exploration du web et le blocage des robots, support.anthropic.com. Consultée le 13 août 2026.
Pour l'agent de recherche, la même page écrit que le désactiver « peut réduire la visibilité et la précision de votre site dans les résultats de recherche des utilisateurs ». Pour le robot d'entraînement, l'effet décrit est d'un autre ordre : le refus « signale que les contenus futurs du site doivent être exclus de nos jeux de données d'entraînement ».
| Ce que vous bloquez | Ce que vous coupez, d'après les éditeurs |
|---|---|
| Le robot d'entraînement (GPTBot, ClaudeBot...) | Vos contenus futurs sortent des données d'entraînement. Aucun effet documenté sur votre présence dans les réponses de recherche |
| Le robot de recherche (OAI-SearchBot, Claude-SearchBot...) | Vous sortez des réponses de recherche de l'assistant, en gardant au mieux un lien de navigation |
| L'agent des requêtes d'utilisateurs (Claude-User, ChatGPT-User...) | Chez Anthropic, l'assistant ne peut plus lire votre page quand un humain la demande, ce qui réduit cette visibilité-là. Chez OpenAI, les règles de robots.txt « peuvent ne pas s'appliquer » à ChatGPT-User : le bloquer ne garantit pas ce résultat |
Un site peut refuser l'entraînement et rester présent dans les réponses. Il peut aussi, en copiant une liste de blocage trouvée dans un article, se couper des réponses sans l'avoir voulu, alors qu'il croyait seulement protéger ses textes.
Ce que les éditeurs ne disent pas. Aucun de ces effets n'est chiffré. « Peut réduire votre visibilité » ne dit pas de combien, et personne ne publie la part de trafic ou de clients qui passe aujourd'hui par ces réponses. Pour un site donné, elle peut être minuscule, et je ne vous dis donc pas « ne bloquez pas » : bloquer peut rester le bon choix, à condition de savoir ce que chaque ligne coupe. Gardez aussi en tête que ces textes viennent d'éditeurs qui ont intérêt à ne pas être bloqués : leur description de la mécanique est exacte, mais ils ne sont pas neutres sur la conclusion à en tirer.
Traitez chaque famille d'agents à part. Pour un site d'entreprise, la position la plus courante et la plus cohérente consiste à refuser l'entraînement et à garder la recherche et les requêtes d'utilisateurs. Elle se règle en deux lignes par éditeur, avec les noms d'agents que leurs documentations publient.
Relisez les listes de blocage toutes faites avant de les coller. Beaucoup mélangent les trois familles d'agents sans le dire. Vérifier chaque nom dans la documentation de son éditeur prend dix minutes et vous évite de sortir des réponses de recherche par erreur.
Si vous avez tout bloqué il y a un an, réévaluez. Les blocages défensifs de 2024 ont souvent été posés avant que ces effets soient documentés. Reprenez la décision avec les pages citées ici, qui disent désormais ce que chaque ligne coûte.
Si votre site tourne sous WordPress, notre agent de visibilité IA peut écrire ces lignes dans votre robots.txt (nous avons donc un intérêt direct dans ce sujet) : par défaut, il laisse passer les agents de recherche et de requêtes d'utilisateurs et permet de refuser l'entraînement ; il est gratuit et publié sur le répertoire officiel de WordPress, sans compte ni clé API.
À ma connaissance, aucune donnée publique sérieuse ne mesure l'effet réel d'un blocage sur le trafic d'un site, et je ne l'ai pas mesuré moi-même : les effets décrits ici sont ceux que les éditeurs documentent, sans chiffre.