Une lectrice, stagiaire chez un e-commerçant, m'a écrit : sa tutrice avait « bloqué des URL dans l'indexation », mais certaines pages, notamment celles générées par les filtres, continuaient d'apparaître dans Google. Généraient-elles du trafic ? Comment les faire disparaître ? La question est fréquente et révèle une confusion courante : le robots.txt ne gère pas l'indexation, il gère l'exploration. La nuance change tout dans une boutique, où filtres, tris et paginations multiplient les adresses.
Cet article reprend ce que dit la norme (RFC 9309) et ce que Google en fait, puis l'applique aux cas d'un site marchand : navigation à facettes, particularités de WooCommerce, PrestaShop et Shopify, robots d'intelligence artificielle. Vous y trouverez des exemples de fichiers à adapter et des critères pour décider ce qu'il faut bloquer ou non.
Ce que fait un robots.txt, et ce qu'il ne fait pas
Le robots.txt est un fichier texte placé à la racine du site (votre-boutique.fr/robots.txt). Il indique aux robots quelles URL ils peuvent demander au serveur. Depuis septembre 2022, sa syntaxe est décrite par la RFC 9309, un standard de l'IETF que Google, Bing, OpenAI ou Anthropic déclarent respecter. Il reste un accord de bonne conduite : un robot malveillant peut l'ignorer.
Le point que la documentation de Google répète : le robots.txt n'est pas un mécanisme pour retirer une page de Google. Une URL bloquée peut encore apparaître dans les résultats, sans description, si d'autres pages la lient. C'est ce que constatait ma lectrice. Pour empêcher l'indexation, il faut une balise meta robots noindex (ou l'en-tête HTTP X-Robots-Tag), que Google ne peut lire que s'il a le droit d'explorer la page. Bloquer une page déjà indexée revient donc à figer la situation. Dernier rappel : le fichier est public ; n'y listez pas un répertoire que vous souhaitez protéger, utilisez une authentification.
Syntaxe utile et comportements à connaître
| Directive | Rôle | Remarque |
|---|---|---|
| User-agent | Robot concerné par le groupe de règles | * vise tous les robots ; un robot applique le groupe le plus spécifique qui le nomme |
| Disallow | Interdit l'exploration d'un chemin | Relatif à la racine ; sensible à la casse |
| Allow | Autorise un chemin malgré un Disallow plus large | La règle la plus longue l'emporte ; à égalité, Google applique la moins restrictive |
| Sitemap | URL complète d'un sitemap | Plusieurs lignes possibles |
| Crawl-delay | Espacement des requêtes | Ignoré par Google ; documenté par Bing |
Deux caractères spéciaux servent presque tout le temps en e-commerce : * remplace une suite quelconque de caractères, $ marque la fin de l'URL. Disallow: /*?orderby= bloque toute URL contenant ce paramètre ; Allow: /*?page=all$ n'autorise que les URL qui se terminent exactement ainsi.
La documentation de Google sur l'interprétation du robots.txt précise des comportements souvent ignorés :
- Google lit au maximum 500 Kio ; au-delà, le reste est ignoré. La RFC fixe la même limite minimale.
- Le fichier est mis en cache jusqu'à 24 heures : une correction n'est pas prise en compte immédiatement.
- Une erreur 4xx (404 compris) équivaut à l'absence de fichier : Google explore tout. Une erreur 5xx suspend l'exploration du site pendant 12 heures, puis Google se rabat sur la version en cache pendant 30 jours au plus. Un robots.txt en erreur serveur est donc plus dangereux qu'un robots.txt absent.
- Toute directive autre que user-agent, allow, disallow et sitemap est ignorée.
Navigation à facettes : que bloquer, et comment
Les filtres par couleur, taille, prix ou marque, combinés aux tris et à la pagination, produisent des milliers d'URL pour un même catalogue. Google a consolidé ses recommandations dans une page dédiée à la navigation à facettes (mise à jour du 18 décembre 2025). Sa position : si ces URL n'ont pas vocation à être indexées, le plus efficace est d'empêcher leur exploration par robots.txt, car leur crawl coûte aux sites de grandes quantités de ressources. Les alternatives (fragments #, balise canonical, rel="nofollow" sur les liens de filtres) sont présentées comme moins fiables ou plus lentes. L'exemple de Google se transpose directement à une boutique :
User-agent: *
Disallow: /*?*couleur=
Disallow: /*?*taille=
Disallow: /*?*prix=
Disallow: /*?orderby=
Allow: /*?produits=tous$Trois critères avant de copier ce bloc :
- Une facette qui correspond à une recherche réelle (« chaussures de randonnée femme ») mérite une URL propre, un contenu et une indexation : traitez-la comme une catégorie, comme décrit dans l'article sur l'optimisation d'une catégorie e-commerce.
- Les combinaisons multiples, les tris et les tranches de prix n'apportent rien à l'index. Bloquez-les, après avoir identifié précisément les paramètres de votre plateforme.
- Si vous laissez indexer certaines facettes, Google demande un ordre de paramètres stable, le séparateur
&classique et une vraie erreur 404 quand le filtre ne renvoie aucun produit.
Sur le budget d'exploration, restez mesuré. Google indique que la gestion du crawl budget concerne surtout les sites d'un million de pages uniques ou plus, ou de 10 000 pages et plus dont le contenu change chaque jour. Une boutique de 800 références n'est pas dans ce cas. Mais la même page rappelle qu'une balise noindex ne fait pas économiser de crawl : Google demande la page, puis l'écarte. Seul le robots.txt évite la requête.
Retirer des URL de filtres déjà indexées
Pour revenir à la question initiale : si des URL de filtres sont dans l'index, l'ordre des opérations compte. Vérifiez d'abord dans Search Console (rapport Performances filtré sur ces URL) si elles reçoivent des clics. Sinon, posez une balise noindex et laissez Google les explorer le temps qu'il les retire. Ensuite seulement, ajoutez la règle Disallow. Si vous bloquez d'abord, la balise ne sera jamais lue et les URL resteront visibles des mois. Pour les cas pressants, l'outil de suppression de Search Console masque une URL temporairement, sans remplacer ce travail de fond.
Selon la plateforme : WooCommerce, PrestaShop, Shopify
Les pages de panier, de commande et de compte n'ont rien à faire dans un moteur ; les plateformes le gèrent déjà en partie. Regardez ce que la vôtre fait avant d'ajouter des règles.
WooCommerce (WordPress)
Sans fichier physique, WordPress génère un robots.txt virtuel minimal : Disallow: /wp-admin/ et Allow: /wp-admin/admin-ajax.php. Depuis sa version 5.0, WooCommerce ajoute une directive noindex aux pages Panier, Commande et Mon compte. Yoast SEO permet de créer un vrai fichier (Yoast SEO, Outils, Éditeur de fichiers). Les paramètres à surveiller : ?orderby= (tri), ?filter_attribut= (filtres), ?add-to-cart= et ?s= (recherche interne). Ne bloquez jamais /wp-content/ ni /wp-includes/ : Google a besoin des fichiers CSS et JavaScript pour rendre les pages.
PrestaShop
Dans PrestaShop 8, le bouton « Générer le fichier robots.txt » se trouve dans Paramètres de la boutique, Trafic et SEO, onglet SEO et URL. La documentation officielle prévient que ce bouton remplace le fichier existant : ajoutez vos règles après la génération et conservez-en une copie. Le fichier généré exclut les répertoires techniques pour tous les robots ; les paramètres de votre module de filtres restent à ajouter.
Shopify
Shopify génère un robots.txt par défaut qui bloque /cart, /checkout, /search, /admin et les collections filtrées. Pour le personnaliser, il faut créer un gabarit robots.txt.liquid (Boutique en ligne, Modifier le code, Ajouter un nouveau modèle, type « robots »). La documentation Shopify classe cette modification comme non prise en charge par son support, avertit qu'une erreur peut faire perdre tout le trafic, et recommande de compléter les règles avec les objets Liquid plutôt que de les remplacer.
Robots d'intelligence artificielle : une décision à part
Une nouvelle famille de robots lit le web pour entraîner des modèles ou alimenter des réponses générées. Ils s'identifient et documentent leur comportement, ce qui permet de les traiter séparément.
| User-agent | Éditeur | Usage déclaré |
|---|---|---|
| GPTBot | OpenAI | Entraînement des modèles |
| OAI-SearchBot | OpenAI | Affichage de sites dans la recherche de ChatGPT |
| ChatGPT-User | OpenAI | Actions déclenchées par un utilisateur ; le robots.txt peut ne pas s'appliquer |
| ClaudeBot | Anthropic | Collecte pour l'entraînement |
| Claude-SearchBot, Claude-User | Anthropic | Recherche et consultation à la demande de l'utilisateur |
| Google-Extended | Entraînement et ancrage des modèles Gemini ; sans effet sur Google Search |
Le phénomène se mesure. Dans son bilan Radar 2025 (données arrêtées au 2 décembre 2025, réseau Cloudflare), les robots IA représentaient en moyenne 4,2 % des requêtes HTML de l'année, et GPTBot environ 7,5 % du trafic des robots vérifiés. Le même rapport note que les robots IA sont les user-agents les plus souvent totalement interdits dans les robots.txt. Une analyse antérieure de Cloudflare (1er juillet 2025) comptait environ 14 % des 10 000 premiers domaines avec des directives ciblant ces robots.
Faut-il les bloquer ? Les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended) ne vous apportent pas de visiteurs, et les bloquer n'a pas d'effet sur le référencement classique ; Google le précise pour Google-Extended. Les robots de recherche IA (OAI-SearchBot, Claude-SearchBot) peuvent citer vos fiches produits dans des réponses ; les bloquer vous prive de cette visibilité. Séparez les deux décisions :
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
Allow: /Exemple complet pour une boutique WooCommerce
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /panier/
Disallow: /commande/
Disallow: /mon-compte/
Disallow: /*?orderby=
Disallow: /*?*filter_
Disallow: /*?add-to-cart=
Disallow: /*?s=
Sitemap: https://www.votre-boutique.fr/sitemap_index.xmlCe fichier est un point de départ, pas un modèle universel : slugs, paramètres et URL de filtres dépendent de votre thème et de vos extensions. Avant la mise en ligne, vérifiez dans les statistiques sur l'exploration de Search Console que rien d'utile ne correspond aux motifs bloqués.
Tester et surveiller
L'ancien outil de test du robots.txt de Search Console a été retiré fin 2023. Il est remplacé par le rapport robots.txt, disponible pour les propriétés de niveau domaine : fichiers trouvés sur les 20 premiers hôtes, date de dernière lecture, erreurs d'analyse, et demande de relecture après une correction urgente. L'outil d'inspection d'URL indique, page par page, si l'exploration est autorisée. Surveillez enfin le fichier après chaque mise à jour de thème ou de module : c'est souvent là qu'un Disallow: / de préproduction arrive en production. Ce contrôle fait partie d'un audit technique SEO.
Questions fréquentes
Le robots.txt suffit-il pour retirer une page de Google ?
Non. Le robots.txt empêche l'exploration, pas l'indexation. Une URL bloquée peut rester dans les résultats, sans description, si d'autres pages la lient. Pour la retirer, il faut une balise meta robots noindex lisible par Google, donc une page non bloquée, ou une suppression via Search Console.
Faut-il bloquer les pages de filtres d'une boutique en ligne ?
Google recommande d'empêcher l'exploration des URL de facettes qui n'ont pas vocation à être indexées, par des règles Disallow ciblant les paramètres concernés. Les filtres qui correspondent à des recherches réelles méritent en revanche une URL propre et une indexation, comme une catégorie.
Que se passe-t-il si le fichier robots.txt renvoie une erreur ?
Une erreur 404 est traitée par Google comme l'absence de fichier : tout le site est explorable. Une erreur serveur 5xx suspend l'exploration pendant 12 heures, puis Google utilise la version en cache pendant 30 jours au plus. Un fichier en erreur serveur est donc plus pénalisant qu'un fichier absent.
Comment modifier le robots.txt sur Shopify ?
Shopify génère le fichier automatiquement. Pour le personnaliser, il faut créer un gabarit robots.txt.liquid depuis l'éditeur de code du thème. Shopify classe cette modification comme non prise en charge par son support et recommande de compléter les règles avec les objets Liquid plutôt que de les remplacer.
Bloquer GPTBot ou ClaudeBot nuit-il au référencement ?
Non. Ces robots servent à l'entraînement des modèles et ne sont pas liés au classement dans Google ou Bing. Google précise que le jeton Google-Extended n'a aucun effet sur la présence dans Google Search. Les robots de recherche IA, comme OAI-SearchBot, sont une décision distincte.
Où tester un robots.txt depuis la disparition de l'outil de Search Console ?
Le rapport robots.txt de Search Console montre les fichiers lus par Google, leur date de lecture et les erreurs d'analyse, et permet de demander une relecture. L'outil d'inspection d'URL indique si une page donnée est explorable. Google publie aussi son analyseur en open source pour des tests locaux.