Bloquer une page dans robots.txt ne l'empêche pas d'être dans Google
L'essentiel
- Google l'écrit dès la première ligne de sa documentation : robots.txt « is not a mechanism for keeping a web page out of Google ».
- Une page bloquée peut quand même apparaître dans les résultats si d'autres sites y font un lien. Elle s'affiche alors sans description.
- Pour sortir une page de l'index, utilisez noindex ou une protection par mot de passe, pas robots.txt.
- L'erreur à éviter : mettre noindex ET bloquer la page dans robots.txt. Le blocage empêche Google de lire le noindex, donc de l'appliquer.
- C'est ainsi que des pages sensibles traînent dans Google alors que leur propriétaire croit les avoir cachées.
Cette idée reçue-là est technique, et elle se voit dans les résultats de Google : des pages de commande, des espaces de test, des documents internes y apparaissent alors que quelqu'un pensait les avoir bloqués dans robots.txt.
Google prévient pourtant dès le premier paragraphe de sa page d'introduction à robots.txt.
Ce que Google écrit
« A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page. »
Ma traduction : un fichier robots.txt indique aux robots d'exploration quelles adresses ils peuvent atteindre sur votre site. Il sert principalement à éviter de surcharger votre site de requêtes ; ce n'est pas un mécanisme pour tenir une page à l'écart de Google. Pour cela, bloquez l'indexation avec noindex ou protégez la page par mot de passe. Source : Google Search Central, « Introduction to robots.txt », dernière mise à jour affichée le 10 décembre 2025, developers.google.com, consultée le 25 juillet 2026.
Plus bas, la même page décrit ce qui arrive à une page bloquée :
« A page that's disallowed in robots.txt can still be indexed if linked to from other sites. While Google won't crawl or index the content blocked by a robots.txt file, we might still find and index a disallowed URL if it is linked from other places on the web. »
Ma traduction : une page interdite dans robots.txt peut quand même être indexée si d'autres sites y font un lien. Google n'explorera ni n'indexera le contenu bloqué, mais il peut découvrir et indexer l'adresse elle-même si elle est liée ailleurs sur le web. Même source.
Dans les résultats, cela donne une ligne sans description : l'adresse s'affiche, le titre parfois, et à la place du résumé une mention indiquant qu'aucune information n'est disponible. Google le formule ainsi : « its URL can still appear in search results, but the search result won't have a description ».
Ce que robots.txt fait vraiment
Il gère l'exploration (ce que le robot lit), pas l'indexation (ce qui figure dans les résultats). Les trois gestes possibles n'ont pas le même effet :
| Le geste | Ce qu'il fait |
|---|---|
| Interdire dans robots.txt | Google ne va pas lire la page. Il peut toujours en connaître l'existence, et l'afficher, par les liens qui pointent vers elle. |
| Balise noindex | Google lit la page, y trouve l'instruction, et la retire des résultats. Il faut donc qu'il puisse y accéder. |
| Mot de passe | Ni Google ni un visiteur n'y accède sans le mot de passe. C'est le seul des trois gestes qui ferme la page. |
Le blocage neutralise le noindex. Par excès de prudence, beaucoup de propriétaires de sites posent la balise noindex sur une page et la bloquent dans robots.txt. Google ne vient alors plus lire la page : il ne voit jamais le noindex et ne peut pas appliquer le retrait demandé. Pour qu'une page sorte des résultats, laissez Google y accéder et posez le noindex.
Deux limites qu'on oublie
Les robots ne sont pas obligés d'obéir. Le protocole est une convention : chaque robot peut interpréter les règles différemment, précise Google, et la syntaxe pour s'adresser à tel ou tel n'est pas comprise partout de la même façon.
Le fichier ne protège rien non plus. Il est public : n'importe qui peut le lire à l'adresse votresite.fr/robots.txt. Y lister vos répertoires sensibles revient à publier leur inventaire. Protégez par mot de passe toute page qui ne doit pas être vue.
Ce que ça change pour vous
Ouvrez votre robots.txt et repérez ce que vous y avez bloqué en pensant le cacher. Tapez ensuite l'adresse d'une de ces pages dans Google, entre guillemets, pour voir si elle y figure quand même.
Vérifiez que vous ne cumulez pas noindex et blocage sur les mêmes pages : votre site ne vous signalera pas ce conflit.
Choisissez l'outil selon l'objectif : robots.txt pour économiser des passages de robot sur des milliers d'adresses sans intérêt, noindex pour faire disparaître une page des résultats, un mot de passe pour empêcher un accès.
Si votre site tourne sous WordPress, notre extension gratuite, publiée sur le répertoire officiel, pose les signaux destinés aux robots d'IA sans compte ni clé API.
Comment j'ai travaillé
Je n'ai pas repris de statistique sur la fréquence de cette erreur : je n'en ai trouvé aucune que je puisse auditer.
Sources
- Primaire Google Search Central, « Introduction to robots.txt » (robots.txt n'est pas un mécanisme pour tenir une page à l'écart de Google ; une page interdite peut être indexée si elle est liée ailleurs ; résultat sans description ; interprétation variable selon les robots). Dernière mise à jour affichée : 10 décembre 2025. developers.google.com. Consultée le 25 juillet 2026.
À lire ensuite
- robots.txt n'est pas un interrupteur, la seconde limite du même fichier, admise par trois éditeurs d'IA.
- Bloquer Google-Extended ne vous fait pas sortir des Aperçus IA, le prolongement côté réponses IA.
- robots.txt et IA : quelles lignes écrire, pour passer à la pratique, avec des exemples à copier et la marche à suivre sur WordPress.