Pour piéger les robots d'IA, Cloudflare fabrique... du contenu généré par IA

Cette série a documenté les leviers de refus déclaratifs (robots.txt et ses limites), les leviers économiques (faire payer l'exploration), et le problème des robots qui ignorent tout ça. Restait une question : que fait-on d'un robot qui a décidé de ne pas écouter ? La réponse la plus inventive du marché vient de Cloudflare, et elle mérite d'être comprise, y compris pour son ironie.

Le labyrinthe, dans les termes de ses auteurs

Le principe : sur les sites qui l'activent, quand une activité de robot jugée inappropriée est détectée, le système déploie automatiquement un réseau de pages générées par IA, reliées entre elles. Le robot qui ignorait les refus se met à explorer ce dédale : chaque page menant à d'autres pages du même acabit, il brûle son temps et ses ressources sur du contenu qui n'est pas celui du site. La défense ne dit plus « non » : elle dit « oui, entre donc », et la porte donne sur un couloir sans fin.

La vraie trouvaille n'est pas le piège, c'est le fichage

C'est le renversement le plus intéressant. Cette série a montré qu'identifier un robot est le problème insoluble du domaine : la carte d'identité déclarée s'usurpe, et seuls les participants aux systèmes de paiement se signent cryptographiquement. Le labyrinthe attaque le problème par le comportement : peu importe ce que le visiteur PRÉTEND être, s'il s'enfonce dans le dédale, il se trahit. Les robots ainsi démasqués alimentent la liste des mauvais acteurs, qui protège ensuite tout le monde. Le piège ne fait pas que coûter du temps à l'aspirateur : il le photographie.

Deux détails qui disent le sérieux de la chose

D'abord, le contenu du piège. Le réflexe aurait été de générer du charabia. Le billet explique le choix inverse : le contenu généré est réel et rattaché à des faits scientifiques, simplement sans rapport ni pertinence pour le site protégé. Raison donnée : ne pas contribuer à répandre de fausses informations sur Internet, même à destination des aspirateurs. On peut sourire, mais c'est cohérent : ce contenu finira peut-être dans des données d'entraînement, autant qu'il soit inoffensif.

Ensuite, la protection du site lui-même. Des liens cachés vers des pages artificielles, c'est la définition du spam que les moteurs sanctionnent depuis vingt ans. Le billet précise que l'intégration se fait sans perturber la structure des pages, et que chaque page du labyrinthe porte les consignes d'exclusion appropriées pour empêcher son indexation par les moteurs de recherche. Autrement dit : invisible pour Google, invisible pour vos visiteurs, visible seulement pour celui qui explore ce qu'on lui a interdit d'explorer.

Ce que ça change pour vous

Si vos contenus se font aspirer malgré vos refus : sachez que cette catégorie d'outils existe (piéger et ficher plutôt que bloquer), qu'elle est optionnelle, et qu'elle est l'étage au-dessus des refus déclaratifs documentés dans cette série. L'escalade type : exprimer ses préférences, bloquer les identifiés, piéger les menteurs.

Si vous lisez des études sur le web et les IA : retenez qu'une partie croissante du web servi aux robots est du leurre volontaire. Toute mesure « du contenu du web » faite en explorant à l'aveugle ramasse désormais aussi des labyrinthes. Une raison de plus de demander la méthode avant de croire un chiffre.

Si vous vous inquiétez pour votre référencement : le mécanisme tel que décrit protège l'indexation du site (consignes d'exclusion sur les pages du piège). C'est le point à vérifier si vous activez un outil de ce genre, chez cet acteur ou un autre : un piège mal fait serait du spam au sens des règles des moteurs, documentées dans cette série.