En théorie, chaque robot lit dans robots.txt le groupe de règles écrit à son nom et, s'il n'y en a pas, le groupe générique, celui de l'étoile. C'est ce que prévoit le standard. Apple et Amazon documentent pourtant un comportement supplémentaire, peu connu : quand leur robot ne trouve pas son nom, il emprunte les règles écrites pour d'autres robots plutôt que celles de l'étoile.
« If robots instructions don't mention Applebot but mention Googlebot, the Apple robot will follow Googlebot instructions. »
Ma traduction : si les instructions pour robots ne mentionnent pas Applebot mais mentionnent Googlebot, le robot d'Apple suivra les instructions de Googlebot. Source : Apple, « About Applebot », support.apple.com, consultée le 13 août 2026 et revérifiée le 15 août 2026.
Applebot alimente notamment Siri et Spotlight, et Applebot-Extended gouverne l'usage pour les modèles d'Apple. Le groupe de règles que vous avez écrit pour Googlebot, peut-être il y a des années, sert donc aujourd'hui de règlement à un robot d'Apple que vous n'avez jamais mentionné.
« If robots.txt files don't mention Amzn-SearchBot but allow other search bots, Amzn-SearchBot will crawl in accordance with the robots.txt directives given to other search bots. »
Ma traduction : si le fichier robots.txt ne mentionne pas Amzn-SearchBot mais autorise d'autres robots de recherche, Amzn-SearchBot explorera conformément aux directives données à ces autres robots de recherche. Source : Amazon, « Amazonbot », developer.amazon.com, sans date de mise à jour affichée, consultée le 15 août 2026.
Là où Apple désigne Googlebot, Amazon vise toute la famille des « robots de recherche » que vous autorisez. Au sens de cette page, autoriser Googlebot et Bingbot revient à autoriser aussi le robot de recherche d'Amazon qui alimente Alexa.
La logique des deux opérateurs se comprend : des millions de fichiers robots.txt ont été écrits avant que leurs robots existent ou soient connus. Interpréter « il autorise les moteurs de recherche » comme « il nous autoriserait aussi » revient à lire l'intention plutôt que la lettre. Dans le cas courant, cette lecture joue en faveur des sites (votre contenu est traité par Apple comme vous traitez Google, ce qui est souvent ce que vous auriez voulu).
En contrepartie, une exception accordée à Googlebot ne vaut plus pour lui seul. Si vous avez ouvert à Googlebot un répertoire fermé à tous les autres (pour des raisons d'indexation, de partenariat ou d'historique), cette porte « spéciale Google » est aussi celle d'Applebot, et potentiellement celle du robot de recherche d'Amazon. Dans l'autre sens, durcir vos règles Googlebot durcit en silence le traitement de robots que vous n'avez jamais visés.
Deux cas documentés, pas une loi générale. Apple et Amazon ont écrit ce comportement noir sur blanc ; je ne l'affirme pour aucun autre robot, et le standard robots.txt ne prévoit rien de tel. Chaque opérateur décide donc seul de sa lecture, et seule sa documentation permet de la connaître.
Si votre robots.txt traite Googlebot différemment des autres : relisez chaque exception en vous demandant « est-ce que je la donnerais aussi à Apple et à Amazon ? ». Si la réponse est non, nommez ces robots explicitement (Applebot, Amzn-SearchBot) : les deux documentations disent que leurs règles propres, quand elles existent, sont celles qui s'appliquent.
Si vous écrivez des règles aujourd'hui : la règle générique reste votre filet, mais chez Apple et Amazon, vos groupes nominatifs pèsent au-delà du robot nommé. Un groupe écrit pour Googlebot s'appliquera à Applebot tant que celui-ci n'aura pas le sien.
Si votre site tourne sous WordPress, notre extension gratuite, publiée sur le répertoire officiel de WordPress, vous laisse choisir robot par robot qui vous accueillez, sans compte ni clé API.
Je n'ai pas testé ces comportements sur un site réel, ce qui demanderait des semaines de journaux et des règles de test dédiées ; je m'en tiens à ce que les deux opérateurs écrivent d'eux-mêmes et qu'on peut leur opposer. La page d'Amazon n'affiche aucune date de mise à jour : je ne peux dater sa règle que du jour de ma consultation, le 15 août 2026.