Claude cite des pages lorsqu'il fait une recherche sur le web, et Anthropic ne publie pas les critères qui lui font choisir une page plutôt qu'une autre. Ce que l'éditeur documente, ce sont les conditions d'accès : laisser passer ses deux robots de recherche (Claude-SearchBot et Claude-User), rester indexable par les partenaires qui lui fournissent ses résultats, et ne pas cacher vos pages derrière un mot de passe ou un contrôle anti-robots. Le reste est un travail de clarté sur vos pages, sans promesse possible.
Cet article fait partie de notre guide de la visibilité dans les IA. Nous y séparons ce qu'Anthropic écrit de ce qu'il ne dit pas, à partir de ses pages d'aide, de sa page sur ses robots et de la documentation de ses outils de recherche, toutes ouvertes le 14 octobre 2026.
Claude peut répondre de deux façons : avec ce que son modèle a appris pendant son entraînement, ou en allant chercher des pages sur le web au moment de la question. Les citations accompagnent le second cas. Le centre d'aide d'Anthropic le décrit ainsi :
« When you ask about topics that benefit from current information, Claude invokes a search tool to inform and ground its generated responses with content from the live web. Every response includes citations, so you can easily verify sources yourself. »
Notre traduction : quand vous posez une question qui gagne à s'appuyer sur des informations actuelles, Claude lance un outil de recherche pour fonder sa réponse sur le contenu du web en direct. Chaque réponse comporte des citations, pour que vous puissiez vérifier les sources vous-même. Source : Anthropic, « Enable and use web search ».
Sans recherche, Claude s'appuie sur sa mémoire d'entraînement, qui s'arrête à une date : juin 2026 pour les modèles les plus récents, selon le centre d'aide d'Anthropic. Une page publiée ou modifiée depuis ne peut donc compter que sur la recherche.
Quand Claude décide-t-il de chercher ? La documentation de l'outil de recherche, destinée aux développeurs, donne une liste : actualités récentes, prix ou chiffres du moment, demandes explicites, et ce cas qui concerne directement les entreprises :
« Information about specific organizations, people, or products that might have changed »
Notre traduction : des informations sur des organisations, des personnes ou des produits précis qui ont pu changer. Source : Anthropic, documentation « Web search tool ».
À l'inverse, il répond sans chercher sur les connaissances stables. Pour vous, la lecture est simple : une question sur votre entreprise, vos produits ou vos tarifs fait partie des cas où la recherche est prévue ; une question générale sur votre métier peut recevoir une réponse de mémoire, sans source.
Enfin, toutes les conversations ne cherchent pas. Dans la nouvelle version de l'application, écrit Anthropic, il n'y a plus d'interrupteur : Claude cherche quand cela aide. Sur les comptes Team et Enterprise, en revanche, un propriétaire doit d'abord activer la recherche, et chaque membre peut la couper.
Anthropic utilise trois robots distincts et publie, pour chacun, ce qui se passe si vous le bloquez. Voici ce tableau résumé à partir de sa page d'aide, datée du 7 avril 2026.
| Robot | À quoi il sert, selon Anthropic | Si vous le bloquez | Pour être cité |
|---|---|---|---|
| ClaudeBot | Collecter des contenus qui pourraient servir à l'entraînement des modèles | Cela signale que vos futurs contenus doivent être exclus des données d'entraînement | Anthropic ne relie pas ce robot à la recherche |
| Claude-User | Visiter une page quand un utilisateur de Claude pose une question | Claude ne peut plus récupérer votre contenu pour répondre, et votre visibilité « peut » baisser | À laisser passer |
| Claude-SearchBot | Parcourir le web pour améliorer la qualité des résultats de recherche | Votre contenu n'est plus indexé pour la recherche, et votre visibilité comme l'exactitude des réponses « peuvent » baisser | À laisser passer |
Refuser l'entraînement et refuser la recherche sont donc deux décisions séparées : bloquer ClaudeBot est décrit comme un retrait des données d'entraînement, pas comme une sortie des réponses. Les deux robots qui comptent pour être cité sont Claude-SearchBot et Claude-User. Nous détaillons ce que chaque blocage coûte dans notre publication Bloquer les IA a un prix, et nous comparons tous les robots des IA dans notre guide des robots.
Le robots.txt n'est pas le seul barrage possible. Anthropic écrit que ses robots ne forcent pas les protections anti-robots :
« Anthropic’s Bots respect anti-circumvention technologies (e.g., we will not attempt to bypass CAPTCHAs for the sites we crawl.) »
Notre traduction : les robots d'Anthropic respectent les technologies anti-contournement (par exemple, nous ne tenterons pas de contourner les CAPTCHA des sites que nous explorons). Source : Anthropic, centre d'aide, page sur ses robots d'exploration.
Si votre hébergeur ou votre extension de sécurité présente un test anti-robot à ces visiteurs, Claude repart donc sans votre page : c'est le blocage que personne n'a décidé. Anthropic publie aussi la liste de ses adresses IP, ce qui permet d'autoriser ces robots sans ouvrir la porte à n'importe qui : le fichier que nous avons ouvert le 14 octobre 2026, daté du 7 octobre, comptait 38 plages d'adresses. C'est utile, car le nom d'un robot se falsifie sans effort.
Le piège le plus courant n'est pas une ligne qui vise Claude, c'est une règle générale. La norme qui encadre robots.txt, la RFC 9309, explique comment un robot choisit les règles qui le concernent : il cherche un groupe qui porte son nom, et seulement s'il n'en trouve aucun, il applique le groupe général, noté « * ».
« If no matching group exists, crawlers MUST obey the group with a user-agent line with the "*" value, if present. »
Notre traduction : si aucun groupe ne correspond, les robots doivent obéir au groupe dont la ligne user-agent porte la valeur « * », s'il existe. Source : IETF, RFC 9309, Robots Exclusion Protocol.
Conséquence concrète : un fichier écrit pour « tout bloquer sauf Google » bloque aussi Claude.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Ici, Claude-SearchBot et Claude-User ne trouvent pas de groupe à leur nom : ils appliquent le groupe « * », qui leur ferme tout le site. L'inverse existe aussi : dès que vous créez un groupe au nom d'un robot, celui-ci ne lit plus le groupe général, et les interdictions que vous y aviez mises (vos pages d'administration, par exemple) ne le concernent plus, sauf si vous les répétez dans son groupe. Les lignes à écrire selon ce que vous voulez autoriser sont détaillées dans notre article sur robots.txt et les IA.
Nous avons vérifié le 14 octobre 2026 ce que le robots.txt de rankpress.com dit à ces robots. Claude-SearchBot et Claude-User y figurent dans un groupe qui leur ouvre tout le site, avec une seule interdiction répétée : le dossier d'administration de WordPress. ClaudeBot n'y est pas nommé : il relève donc du groupe général, qui ne lui ferme que ce même dossier. Nous avons ensuite demandé deux adresses du site (une publication de l'Observatoire et le fichier llms.txt) sous le nom de chacun des trois robots, puis comme un navigateur ordinaire : même réponse dans les quatre cas, page servie normalement. Limite assumée : nos requêtes ne venaient pas des adresses d'Anthropic, le test prouve donc l'absence de blocage fondé sur le nom du robot, pas sur l'adresse.
C'est le point le moins connu : la recherche de Claude s'appuie sur des partenaires qui indexent le web. Anthropic l'écrit dans sa page consacrée au retrait de contenus, à propos de la balise noindex :
« The noindex robots meta tag is a rule that tells our partners not to index your content so that they don’t send it to us in response to your web search query. »
Notre traduction : la balise meta robots noindex est une règle qui indique à nos partenaires de ne pas indexer votre contenu, afin qu'ils ne nous l'envoient pas en réponse à une recherche web. Source : Anthropic, « Report, block, and remove content from Claude ».
La même page, datée du 3 septembre 2026, ajoute qu'un contenu protégé par mot de passe n'apparaît pas dans les réponses de Claude fondées sur la recherche. Deux vérifications en découlent : aucune page que vous voulez voir citée ne doit porter de noindex (vérifiez-le dans les réglages de votre extension SEO), ni être réservée aux membres connectés.
Notre lecture, qui reste une déduction : puisque ces partenaires transmettent des résultats à Claude, une page mal indexée par les moteurs classiques part avec un handicap, et le référencement classique (pages accessibles, plan du site, liens internes) reste la base. Anthropic ne nomme pas, dans les pages que nous avons lues, le partenaire qui fournit ses résultats de texte ; il ne cite Bing que pour la recherche d'images.
La documentation de l'outil de recherche, écrite pour les développeurs qui branchent Claude dans leurs produits, détaille ce qui remonte d'une page. Anthropic ne dit pas, dans les pages que nous avons lues, si l'application Claude fonctionne exactement de la même façon ; trois éléments éclairent tout de même la façon d'écrire.
La documentation de l'outil qui lit une adresse précise (le web fetch) ajoute un point très concret pour les sites WordPress dont le contenu s'affiche après chargement :
« The web fetch tool currently does not support websites dynamically rendered with JavaScript. »
Notre traduction : l'outil de lecture de pages ne prend actuellement pas en charge les sites rendus dynamiquement en JavaScript. Source : Anthropic, documentation « Web fetch tool ».
Là encore, la prudence reste simple : vos informations clés (ce que vous faites, où, à quel prix) doivent figurer en texte dans la page, pas seulement dans une image ou un module qui s'affiche après coup.
Dernier point, côté développeurs : ceux qui construisent un produit sur Claude peuvent limiter la recherche à une liste de domaines. Dans ces produits-là, vous pouvez être absent sans avoir rien fait de travers, comme l'explique notre publication sur la liste blanche invisible.
Aucune page d'Anthropic que nous avons lue ne décrit les critères qui font citer une page plutôt qu'une autre : ni notoriété, ni longueur, ni balisage, ni fraîcheur. Un article qui vous livre « les critères de Claude » décrit les hypothèses de son auteur.
Le fichier llms.txt n'y figure pas non plus : aucune des pages consultées n'en fait une condition ni un signal pour la recherche de Claude. Google, de son côté, écrit noir sur blanc qu'il ne l'utilise pas :
« You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them. »
Notre traduction : vous n'avez pas besoin de créer de nouveaux fichiers lisibles par les machines, de fichiers texte pour l'IA, de balisage ou de Markdown pour apparaître dans la recherche Google (y compris ses fonctionnalités d'IA générative), car la recherche Google elle-même ne les utilise pas. Source : Google Search Central, « Optimizing your website for generative AI features on Google Search ».
Notre plugin gratuit crée pourtant un llms.txt. Le même guide de Google juge « completely fine » (notre traduction : tout à fait acceptable) d'en maintenir un pour d'autres services qui l'utilisent, en précisant que cela ne nuit ni n'aide dans sa recherche : nous le faisons pour ces services, pas parce qu'Anthropic ou Google en feraient une condition pour être cité. Pour savoir à quoi il sert vraiment, lisez notre définition de llms.txt.
Aucune garantie. Ces étapes lèvent les obstacles qu'Anthropic documente ; elles ne forcent pas une citation. L'éditeur ne publie pas ses critères de sélection, et personne ne peut vous promettre qu'une page sera citée par Claude.
L'agent d'autorité de marque de Rank Press structure tout votre site pour les moteurs de réponse : données structurées sur chaque page, fiche de marque publique, fichiers pour les IA et mesure des visites des robots. Essai de 14 jours d'accès complet, sans carte bancaire.
Voir l'agent d'autorité de marqueou l'installer directementUne erreur, ou une source qui contredit cet article : écrivez-nous à contact@rankpress.com, nous corrigeons ce qui doit l'être.
Cet article fait partie du guide Visibilité dans les IA.