Non, Common Crawl n'a pas copié tout votre site : sa propre FAQ parle d'un échantillon

Dans les listes de robots à bloquer qui circulent, un nom revient toujours : CCBot, le robot de Common Crawl. La croyance qui va avec : cette organisation aurait copié votre site en entier, et cette copie servirait à entraîner toutes les IA du marché. Comme souvent dans cette série, la documentation officielle dit quelque chose de plus précis, de plus intéressant, et de plus utile pour décider quoi faire.

Ce que Common Crawl dit de lui-même

Un échantillon, pas une copie. Votre site est peut-être dans les archives, mais probablement pas en entier, et sa présence même tient en partie du tirage. La même FAQ décrit la mission : une organisation à but non lucratif qui met une « copie de l'Internet » à disposition des chercheurs, des entreprises et des particuliers, gratuitement, pour la recherche et l'analyse. Notez l'honnêteté du grand écart, assumé dans le même document : la mission parle d'une copie de l'Internet, la pratique d'un échantillon du web. Et notez le mot « entreprises » : les archives sont ouvertes à tous, y compris à ceux qui entraînent des modèles. C'est ce qui a mis Common Crawl au centre de l'attention, alors que l'organisation elle-même n'entraîne rien.

Le robot le plus poli de cette série

Cette série a documenté des robots qui ignorent robots.txt sur demande d'un utilisateur, des règles qui engagent des robots qu'on ne connaît pas, et une consigne de ralentissement traitée de quatre façons différentes. CCBot, lui, coche à peu près toutes les cases de la politesse documentée :

Le RFC 9309, c'est le standard officiel du protocole d'exclusion des robots : CCBot déclare s'y conformer explicitement. La FAQ ajoute : « We obey the Crawl-delay parameter for robots.txt » (nous obéissons au paramètre Crawl-delay du robots.txt), ce qui en fait une cinquième réponse à la question documentée dans l'article sur cette consigne : Google ne la traite pas, Apple ne la suit pas, Amazon ne la prend pas en charge, Anthropic la respecte « quand c'est approprié », et Common Crawl obéit, tout court. Enfin, les adresses IP du robot sont publiées, avec vérification par résolution inverse : « CCBot is now run on dedicated IP address ranges with reverse DNS. This allows webmasters to verify whether a logged request stems from the real CCBot » (CCBot tourne désormais sur des plages d'adresses dédiées avec résolution inverse, ce qui permet aux webmestres de vérifier si une requête vient du vrai CCBot). C'est exactement l'outil qui manque pour la plupart des robots dont un nom apparaît dans vos journaux.

Le retrait, y compris pour ce qui est déjà archivé

Deux niveaux, donc : le blocage classique par robots.txt pour l'avenir, et un registre de retrait pour le reste. Ce second niveau est une rareté : la plupart des acteurs documentés dans cette série ne proposent rien pour les données déjà collectées. Ici, une organisation qui archive depuis des années offre une porte de sortie explicite, décrite dans sa propre documentation.

Ce que ça change pour vous

Si vous voulez en sortir : les deux lignes de robots.txt citées plus haut, plus le registre de retrait pour ce qui est déjà archivé. C'est l'un des rares refus complets et documentés que vous puissiez exprimer dans ce paysage.

Si vous préférez y rester : c'est une position défendable aussi. Ces archives alimentent la recherche publique et une partie des corpus dont se nourrissent les systèmes qui, demain, citeront ou non votre secteur. La FAQ précise que le robot lit les plans de site annoncés dans robots.txt ; c'est le même fichier de plan de site qui sert déjà votre référencement classique.

Dans vos journaux serveur : un « CCBot » qui se comporte mal n'est probablement pas CCBot. Les plages d'adresses officielles sont publiées et vérifiables par résolution inverse ; l'usurpation de noms de robots connus est documentée, y compris par les éditeurs eux-mêmes. Vérifiez l'adresse avant d'accuser le nom.