En bref
Le robots.txt est un fichier texte placé à la racine d’un site, qui indique aux robots d’exploration les adresses qu’ils peuvent parcourir ; sa norme est la RFC 9309, publiée par l’IETF en septembre 2022. Il s’écrit par groupes : une ligne User-agent nomme le robot, des lignes Disallow et Allow ferment ou ouvrent des chemins, une ligne Sitemap désigne le plan du site. Il règle l’exploration : pour sortir une page de Google, l’outil est la balise noindex, sur une page que le robot peut lire. Il se teste dans le rapport robots.txt de Search Console, et règle aussi l’accès des robots des IA, où l’entraînement des modèles (GPTBot, ClaudeBot, Google-Extended) se sépare de la recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot).
Un petit fichier texte, à la racine de la boutique, dit aux robots où ils peuvent aller. Bien écrit, il tient les robots loin du panier et des tris ; une ligne de trop ferme vos collections. Voici sa syntaxe, ce qu’il règle et ce qui passe par noindex, comment le tester, et ce que changent en 2026 les robots des IA.
Chaque robot sérieux commence sa visite par la même adresse : exemple.fr/robots.txt. Ouvrez celle de votre boutique : le fichier s’affiche en clair, lisible par tous, vos concurrents compris. Voici un fichier commenté, que la suite explique ligne par ligne.
# Tous les robots : les zones privées et les tris restent fermés
User-agent: *
Disallow: /panier/
Disallow: /compte/
Disallow: /commande/
Disallow: /*?*tri=
Allow: /compte/connexion/
# Les robots de recherche des IA suivent le groupe * :
# la boutique leur reste ouverte, panier et compte exceptés.
# L'entraînement des modèles : un choix d'entreprise
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
[Disallow ou Allow]: /
# Le plan du site, en adresse complète
Sitemap: https://exemple.fr/sitemap.xmlÀ quoi sert le fichier robots.txt ?
Le robots.txt sert à gérer le passage des robots d’exploration : il leur indique les adresses à parcourir et celles à laisser de côté, pour ménager le serveur et concentrer leur visite sur les pages utiles. Google le présente d’abord comme un outil de gestion du trafic des robots, dans sa page sur le fichier mise à jour le 10 décembre 2025.
robots.txtnom masculin ; le protocole d’exclusion des robots, Robots Exclusion Protocol en anglais
Un fichier texte en UTF-8, nommé robots.txt et placé à la racine d’un hôte, qui donne aux robots d’exploration des règles d’accès, chemin par chemin. Il vaut pour son seul protocole, son seul hôte et son seul port : boutique.exemple.fr et exemple.fr ont chacun le leur. Défini par Martijn Koster en 1994, le protocole a sa norme depuis septembre 2022 : la RFC 9309 de l’IETF.
Voir aussi la section sur la syntaxe.
Deux traits tiennent à sa nature. Il relève de la consigne : les robots sérieux, Googlebot en tête, la suivent, et la RFC 9309 le distingue d’une protection d’accès. Il est public : une zone privée se protège par un mot de passe, côté serveur, et un dossier secret listé dans le robots.txt se signale à tous.
La syntaxe : User-agent, Disallow, Allow, Sitemap
Un robots.txt se lit par groupes : une ou plusieurs lignes User-agent nomment les robots, puis des règles Disallow et Allow ferment ou ouvrent des chemins. Google lit quatre champs et laisse les autres de côté, d’après sa page sur l’interprétation du fichier, mise à jour le 23 octobre 2026.
| Champ | Ce qu’il fait | Exemple |
|---|---|---|
| User-agent | Nomme le robot visé ; l’étoile vise tous les robots. Le nom se lit en majuscules comme en minuscules. | User-agent: Googlebot |
| Disallow | Ferme un chemin, et toutes les adresses qui commencent par lui. | Disallow: /panier/ |
| Allow | Rouvre un chemin à l’intérieur d’une zone fermée. | Allow: /compte/connexion/ |
| Sitemap | Désigne un plan du site, en adresse complète ; la ligne vaut pour tous les robots. | Sitemap: https://exemple.fr/sitemap.xml |
| Crawl-delay | Demande d’espacer les visites. Google l’ignore ; Common Crawl et Anthropic le lisent. | Crawl-delay: 2 |
Deux caractères servent de jokers, d’après la RFC 9309 et Google : l’étoile remplace toute suite de caractères, le dollar marque la fin de l’adresse. Les chemins tiennent compte de la casse : /Panier/ et /panier/ sont deux chemins.
Disallow: /*?*tri= # toute adresse qui porte un paramètre tri
Disallow: /*.pdf$ # les adresses qui finissent par .pdf
Disallow: /recherche # /recherche, /recherche/ et /recherche-avanceeQuand deux règles visent la même adresse, la plus précise l’emporte : celle dont le chemin est le plus long. À longueur égale, Google applique la moins restrictive, donc Allow. Le fichier se lit jusqu’à 500 kibioctets ; au-delà, Google laisse la suite de côté.
Un robot suit un seul groupe, le plus précis qui le nomme. Un robot nommé laisse donc de côté les règles du groupe *, d’où une erreur courante : un groupe ajouté pour Googlebot, avec une seule ligne, lui rouvre tout ce que le groupe * fermait. Certains robots de Google, comme AdsBot, celui de Google Ads, lisent seulement les groupes qui les nomment, d’après sa page sur ses robots spéciaux, mise à jour le 17 septembre 2026.
Ce que le robots.txt règle, et ce qui passe par noindex
Le robots.txt règle l’exploration ; l’indexation se règle dans la page, avec la balise noindex ou l’en-tête X-Robots-Tag. Une adresse fermée peut donc rester dans Google : il la connaît par des liens, et l’affiche réduite à son adresse. Search Console la range alors parmi les pages « Indexée malgré le blocage par le fichier robots.txt ».
Le robot reste à la porte : il ignore tout de la page, sa balise noindex comprise. L’adresse peut rester dans les résultats si des liens y mènent.
Le bon outil pour ménager l’exploration : tris, recherche interne, zones privées.Le robot lit la page, voit la consigne, et la retire de l’index à sa prochaine visite.
Google a cessé de lire noindex dans le robots.txt le 1er septembre 2019 : la consigne vit dans la page, ou dans l’en-tête HTTP.L’ordre compte pour une page déjà indexée : d’abord noindex, le temps que Google relise la page, ensuite la règle Disallow, si l’exploration doit cesser. Notre note sur les filtres d’une boutique applique cet ordre famille de filtres par famille.
le robots.txt garde la porte ;
noindex range les archives
Les erreurs qui coûtent cher
Les erreurs coûteuses d’un robots.txt tiennent souvent en une ligne, et se voient tard, quand les visites ont déjà baissé. Voici celles que nous rencontrons le plus.
| L’erreur | Ce qui se passe | Le remède |
|---|---|---|
| Le fichier de la préproduction mis en ligne | Disallow: / sous User-agent: * ferme tout le site : les pages sortent peu à peu des résultats, ou s’y affichent réduites à leur adresse. | Protéger la préproduction par un mot de passe, et relire le robots.txt le jour de la mise en ligne. |
| Les fichiers CSS et JavaScript fermés | Google exécute seulement le JavaScript qu’il a le droit de lire : la page rendue perd ses blocs et sa mise en page. | Ouvrir les dossiers du thème, puis vérifier le rendu dans l’inspection de l’URL. |
| Une règle trop large | Disallow: /collections/, écrite pour les tris, ferme toutes les collections, et les produits rangés dedans. | Viser le paramètre seul, et tester chaque règle sur des adresses réelles. |
| Un fichier qui répond en erreur 500 | Google suspend l’exploration du site pendant 12 heures, puis s’appuie jusqu’à 30 jours sur la dernière version lue. | Servir le fichier en 200, et surveiller le rapport robots.txt. |
| Un pare-feu qui arrête les robots | Le robot reçoit une erreur 403 ou une page de vérification : il ignore jusqu’au contenu du robots.txt. | Relire les réglages du pare-feu en même temps que le fichier, robot par robot. |
Un fichier absent, lui, coûte peu : Google traite une réponse 404 comme une absence de règles, et explore tout le site. Le danger vient des fichiers écrits trop vite.
Comment tester son robots.txt ?
Le robots.txt se teste dans le rapport robots.txt de Search Console, qui a pris en novembre 2023 la place de l’ancien outil de test. Pour les 20 principaux hôtes du site, il montre le fichier que Google a trouvé, la date de sa dernière lecture, son état, ses erreurs et ses avertissements, et les versions des 30 derniers jours.
- Paramètres
- robots.txt
- Ouvrir le rapport
Trois vérifications complètent le rapport :
- Une adresse précise : l’inspection de l’URL dit si le robots.txt autorise son exploration.
- Après une correction urgente : le rapport permet de demander une nouvelle exploration du fichier, que Google garde sinon en cache jusqu’à 24 heures.
- Les pages qui vendent : le rapport « Indexation des pages » liste les adresses « bloquées par le fichier robots.txt » ; une fiche ou une collection doit en sortir.
Pour tester une règle avant de la publier, Google publie en code ouvert son analyseur, un outil pour votre développeur. La lecture du rapport d’indexation, motif par motif, est dans notre note SEO technique : le guide, de l’exploration à l’indexation.
Les robots des IA : lesquels laisser passer en 2026 ?
Les robots des IA se rangent en trois familles, que chaque éditeur documente à part : ceux qui collectent des pages pour entraîner les modèles, ceux qui indexent le web pour la recherche de l’assistant, et ceux qui visitent une page à la demande d’un utilisateur. Chacun se règle par son nom dans le robots.txt, et chaque réglage reste indépendant des autres.
| Robot | Éditeur | Son rôle | Si vous le bloquez |
|---|---|---|---|
| GPTBot | OpenAI | La collecte pour l’entraînement des modèles. | Vos pages sortent des données d’entraînement ; la recherche de ChatGPT reste ouverte. |
| OAI-SearchBot | OpenAI | La recherche de ChatGPT. | Vos pages sortent de ses réponses de recherche ; un lien de navigation peut subsister. |
| ChatGPT-User | OpenAI | Les visites demandées par un utilisateur. | OpenAI écrit que ces visites, lancées par une personne, peuvent échapper au robots.txt. |
| ClaudeBot | Anthropic | La collecte pour l’entraînement. | Vos futurs contenus sortent des données d’entraînement. |
| Claude-SearchBot | Anthropic | L’index de recherche de Claude. | Moins de visibilité dans ses réponses de recherche. |
| Claude-User | Anthropic | Les visites demandées par un utilisateur. | Claude cesse de lire votre page pour répondre à un utilisateur : votre visibilité dans ces recherches baisse. |
| PerplexityBot | Perplexity | Les résultats et les sources de Perplexity, hors entraînement. | Vos pages sortent de ses résultats. |
| Google-Extended | Un jeton, lu par les robots de Google : l’entraînement de Gemini et l’ancrage des réponses de l’application Gemini et de Vertex AI. | Vos pages sortent de ces usages ; la recherche Google reste la même. | |
| Applebot-Extended | Apple | Un jeton, lu par Applebot : l’entraînement des modèles d’Apple Intelligence. | Spotlight, Siri et Safari continuent de montrer vos pages. |
| CCBot | Common Crawl | La collecte d’un jeu de données ouvert du web, que chacun peut télécharger. | Vos futures pages sortent de ce jeu, utilisé pour entraîner des modèles de langage. |
La différence entre entraînement et recherche décide de presque tout. Fermer les robots d’entraînement retire vos pages des futures données des modèles, et laisse votre présence dans les réponses telle quelle. Fermer les robots de recherche vous retire des réponses qui citent leurs sources, celles qui envoient des visites. Pour une boutique qui veut être trouvée, nous laissons ouverts les robots de recherche ; l’entraînement reste un choix d’entreprise, à prendre en connaissance de cause.
Trois cas demandent un regard de plus :
- Google-Extended couvre aussi l’ancrage des réponses de l’application Gemini : le fermer retire vos pages de cette part des réponses. Les aperçus IA et le mode IA relèvent, eux, de Googlebot, et d’un réglage de Search Console ouvert à tous les sites le 31 août 2026, que présente notre note AI Overview : ce que les aperçus IA de Google font à vos clics.
- Applebot, le robot de recherche d’Apple, nourrit aussi les réponses de Siri ; Apple propose la balise nosnippet pour refuser cet usage page par page. En l’absence de règles pour Applebot, il suit celles écrites pour Googlebot.
- Les visites demandées par un utilisateur, ChatGPT-User et Perplexity-User, échappent en général au robots.txt, d’après leurs éditeurs : une personne a lancé la visite.
OpenAI et Perplexity annoncent environ 24 heures pour prendre en compte un changement, et Google prévoit pour début 2027 un signal commun de préférence sur l’entraînement, issu des travaux AIPREF. Le robots.txt reste une consigne ; un pare-feu, lui, arrête : Cloudflare règle par exemple les robots des IA par catégorie, recherche, agents et entraînement, d’après sa documentation du 1er juillet 2026. Les deux se relisent ensemble. Les fichiers pensés pour les IA, comme llms.txt, s’ajoutent au robots.txt ; notre note GEO et SEO : ce qui change avec les IA dit ce qu’en fait Google, et comment ces robots lisent un site.
Modifier le robots.txt sur Shopify, WordPress et PrestaShop
Sur une plateforme, le robots.txt se modifie par l’outil qu’elle prévoit : chacune écrit un fichier par défaut, et le remplace selon ses propres règles.
| Plateforme | Le fichier par défaut | Pour le modifier | À savoir |
|---|---|---|---|
| Shopify | Généré par Shopify : il ferme l’administration, le panier, le paiement, les comptes, les collections triées et filtrées. | Un modèle robots.txt.liquid dans le code du thème : Boutique en ligne, Thèmes, Modifier le code, Ajouter un modèle, robots. | Shopify juge le fichier par défaut adapté à la plupart des boutiques, et prévient qu’une erreur peut coûter tout le trafic. Les objets Liquid gardent les règles par défaut à jour. |
| WordPress | Un fichier virtuel : il ferme le dossier wp-admin, rouvre admin-ajax.php et, depuis la version 5.5, désigne le plan du site de WordPress. | Un fichier robots.txt déposé à la racine prend sa place ; les extensions SEO proposent un éditeur. | Depuis la version 5.3, en 2019, la case de visibilité des réglages de lecture pose noindex sur tout le site : elle se décoche à la mise en ligne. |
| PrestaShop | Généré depuis le back-office : il ferme les dossiers techniques, le panier, le compte, la recherche et les tris. | Paramètres de la boutique, Trafic & SEO, SEO & URL, bouton de génération du fichier. | Le bouton remplace le fichier existant : les règles maison s’ajoutent après chaque génération. |
Sur Shopify, la documentation pour les développeurs conseille de partir des règles par défaut, en Liquid, et de garder une copie du fichier en ligne pour comparer. Le détail de chaque plateforme est dans nos notes sur le référencement Shopify, le référencement PrestaShop et le référencement WordPress. Voici ce que donne une règle trop large, sur une boutique imaginaire.
180 produits, 26 collections. Au printemps, un développeur ajoute une ligne au modèle robots.txt.liquid pour fermer les collections triées. Trois mois plus tard, les clics venus de Google sur les collections sont passés de 1 400 à 600 par mois, et Search Console compte 26 collections « bloquées par le fichier robots.txt ».
- Le constat. Dans le rapport « Indexation des pages », le motif liste les 26 collections ; huit apparaissent aussi en « Indexée malgré le blocage », réduites à leur adresse dans les résultats.
- La ligne en cause. Le modèle contient Disallow: /collections/, écrite pour les tris : elle ferme toutes les adresses qui commencent ainsi, collections et produits rangés dedans compris.
- La correction. La ligne part, et le modèle revient aux règles par défaut de Shopify, écrites en Liquid, qui ferment déjà les collections triées.
- Le test. Une nouvelle exploration du fichier demandée dans le rapport robots.txt ; l’inspection de l’URL confirme l’accès sur trois collections ; Valider la correction lance la revue des 26 adresses.
- Le suivi. Une lecture du rapport chaque semaine pendant un mois, la date de la correction notée.
Résultat : un mois plus tard, 24 collections sont de nouveau indexées avec leur description, et les clics sur les collections remontent à 1 250 par mois à la fin du deuxième mois.
Exemple écrit pour cette note : l’entreprise et les chiffres sont inventés.
Avant de publier une modification, nous passons cette liste. Cochez au fil de votre relecture.
Avant de publier un robots.txt
0 cochée sur 7Vos cases restent cochées sur cet appareil. Rien n’est envoyé.
Questions fréquentes
Où se trouve le fichier robots.txt d’un site ?
Il se trouve à la racine du domaine : ajoutez /robots.txt à l’adresse de l’accueil, par exemple exemple.fr/robots.txt. Chaque sous-domaine, chaque protocole et chaque port a le sien. Si l’adresse répond 404, Google considère tout le site comme ouvert à l’exploration.
Robots.txt ou noindex : lequel choisir ?
Le robots.txt sert à arrêter l’exploration d’une famille d’adresses, comme les tris ou la recherche interne. La balise noindex sert à sortir une page de Google, et demande une page que le robot peut lire. Pour une page déjà indexée, noindex vient d’abord, puis la règle Disallow une fois la page sortie de l’index.
Faut-il bloquer GPTBot et les robots des IA ?
Les robots d’entraînement, comme GPTBot, ClaudeBot, Google-Extended ou CCBot, relèvent d’un choix d’entreprise : les fermer retire vos pages des futures données d’entraînement. Les robots de recherche, comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot, font apparaître vos pages dans les réponses qui citent leurs sources. Pour une boutique qui veut être trouvée, nous les laissons ouverts.
Que fait la directive Crawl-delay ?
Elle demande au robot d’espacer ses visites d’un nombre de secondes. Google l’ignore et règle seul son rythme selon la santé du serveur ; Common Crawl et Anthropic la respectent. Pour ralentir Googlebot en urgence, Google conseille de répondre 503 ou 429 pendant quelques heures, deux jours au plus.
Le robots.txt protège-t-il des pages privées ?
Le fichier est public, lisible par tous, et relève de la consigne : la RFC 9309 le distingue d’une protection d’accès. Une zone privée se protège par un mot de passe ou une authentification côté serveur. Lister un dossier secret dans le robots.txt revient même à le signaler.
Sources et méthode
Ce qui décrit le robots.txt vient de sa norme, la RFC 9309, et de la documentation de Google ; ce qui décrit chaque robot des IA vient de la documentation de son éditeur ; ce qui décrit Shopify, WordPress et PrestaShop vient de leur documentation officielle. La date du remplacement de l’ancien outil de test vient de la presse spécialisée, qui cite l’annonce de Google. Ce qui est écrit en « nous » vient de notre pratique. La boutique de thés, ses chiffres et les fichiers commentés sont des exemples écrits pour cette note.
- RFC 9309 : Robots Exclusion Protocol, septembre 2022IETF, norme proposée
- Présentation du fichier robots.txt, mise à jour le 10 décembre 2025Google Search Central, documentation
- Comment Google interprète le robots.txt, mis à jour le 23 octobre 2026Google Search Central, documentation
- Créer un fichier robots.txt, mis à jour le 21 novembre 2025Google Search Central, documentation
- Bloquer l’indexation avec noindex, mis à jour le 10 décembre 2025Google Search Central, documentation
- Une note sur les règles du robots.txt que Google laisse de côté, 2 juillet 2019Google Search Central, blog : noindex retiré le 1er septembre 2019
- Les bases du SEO pour JavaScript, mises à jour le 4 mars 2026Google Search Central, documentation
- Réduire la fréquence d’exploration de Googlebot, mis à jour le 6 octobre 2026Google Search Central, documentation
- Les robots spéciaux de Google, mis à jour le 17 septembre 2026Google, documentation sur l’exploration
- Les robots courants de Google, dont Google-Extended, mis à jour le 30 octobre 2026Google, documentation sur l’exploration
- Les fonctionnalités d’IA et votre site, mises à jour le 10 décembre 2025Google Search Central, documentation
- De nouveaux contrôles pour les propriétaires de sites, 3 juin 2026, mis à jour le 31 août 2026Blog de Google
- Le rapport robots.txtAide de Search Console
- Le nouveau rapport robots.txt remplace l’outil de test, 16 novembre 2023Search Engine Roundtable, presse spécialisée
- Les robots d’OpenAIOpenAI, documentation
- Anthropic explore-t-il le web, et comment bloquer ses robots, 7 avril 2026Anthropic, centre d’aide
- Les robots de PerplexityPerplexity, documentation
- À propos d’Applebot, 4 septembre 2026Apple, assistance
- CCBotCommon Crawl
- Questions fréquentes de Common CrawlCommon Crawl : robots.txt et Crawl-delay
- Language Models are Few-Shot Learners, mai 2020OpenAI, arXiv : Common Crawl parmi les données d’entraînement de GPT-3
- Les réglages des robots d’IA, mis à jour le 1er juillet 2026Cloudflare, documentation
- Modifier robots.txt.liquidCentre d’aide Shopify
- Personnaliser le robots.txtShopify, documentation pour les développeurs
- Les réglages de lecture, mis à jour le 8 juin 2024Documentation WordPress
- Changements pour tenir un site hors des moteurs, 2 septembre 2019WordPress, blog des développeurs : version 5.3
- La ligne Sitemap du robots.txt virtuelWordPress, référence du code : version 5.5
- SEO et URL, PrestaShop 9Documentation PrestaShop, guide de l’utilisateur
Référencement naturel
Technique
Pour comprendre