Bloquer les robots IA peut répondre à un choix éditorial, à une contrainte de charge ou à une politique de réutilisation des contenus. Mais un blocage uniforme traite de la même manière des usages différents : collecte pour l’entraînement, recherche de sources et consultation demandée par un utilisateur. La bonne décision dépend donc de ce que vous acceptez, de ce que vous souhaitez rendre visible et des moyens techniques disponibles.
Autoriser un robot ne garantit ni citation, ni visite, ni client. Le bloquer n’efface pas nécessairement une ancienne collecte ou les informations publiées ailleurs sur votre entreprise. Voici comment établir une politique compréhensible et vérifier qu’elle produit l’effet recherché.
Identifier le rôle du robot avant d’écrire une règle
Les noms se ressemblent, mais leurs fonctions et leurs règles ne sont pas interchangeables. Ce tableau reprend les distinctions documentées par les fournisseurs au moment de la révision.
| Fournisseur | Collecte pour l’entraînement | Recherche ou consultation |
|---|---|---|
| OpenAI | GPTBot collecte des contenus susceptibles de servir aux modèles. | OAI-SearchBot concerne la recherche ; ChatGPT-User certaines consultations déclenchées par l’utilisateur. |
| Anthropic | ClaudeBot concerne la collecte susceptible de contribuer à l’entraînement. | Claude-SearchBot contribue à la recherche ; Claude-User consulte des pages à la demande. |
| Perplexity | PerplexityBot n’est pas présenté comme un robot d’entraînement des modèles fondamentaux. | PerplexityBot sert la recherche ; Perplexity-User répond aux demandes des utilisateurs. |
Selon la documentation OpenAI, GPTBot et OAI-SearchBot se règlent indépendamment. Refuser OAI-SearchBot exclut les pages des réponses de recherche ChatGPT, avec une exception possible pour les liens de navigation. ChatGPT-User ne décide pas de cette présence dans Search, et les règles robots.txt peuvent ne pas s’appliquer à ses consultations.
Anthropic documente le respect de robots.txt par ses trois agents. Perplexity précise de son côté que son agent déclenché par l’utilisateur ignore généralement ces règles. Il faut donc lire la règle propre à chaque service, sans déduire le comportement d’un agent de celui de son concurrent.
Le cas Google : distinguer exploration, entraînement et réponses IA
Google-Extended est un jeton de contrôle, pas un agent HTTP séparé à chercher dans les journaux. Il couvre des usages d’entraînement de Gemini et d’ancrage des réponses dans Gemini Apps et Vertex AI. Google indique qu’il n’influence ni l’inclusion ni le classement dans Search. La liste officielle des robots décrit ce périmètre.
Autre distinction importante en septembre 2026 : Search Console dispose désormais d’un contrôle spécifique aux fonctionnalités génératives de Search. Selon Google, son déploiement mondial est achevé depuis le 31 août 2026. Il permet d’exclure liens et contenus des fonctionnalités concernées, dont AI Overviews et AI Mode, sans être un signal de classement pour les autres parties de Search. Ce réglage ne commande pas l’entraînement. La documentation précise les propriétés parentes et les délais de prise en compte.
Dire qu’il faut forcément quitter Google Search pour refuser les réponses IA est donc dépassé. À l’inverse, bloquer Googlebot reste une décision beaucoup plus large qu’un refus de ces seules fonctionnalités.
Quelle politique convient à votre activité ?
Pour un site de services, l’enjeu peut être de laisser consulter des informations commerciales exactes tout en refusant certains usages d’entraînement. Pour un éditeur, la valeur peut résider dans la lecture sur son propre site, les abonnements ou les droits de réutilisation. Pour une boutique, une interruption de consultation du catalogue peut affecter des parcours utiles. Aucune de ces situations ne justifie automatiquement de tout ouvrir ou de tout fermer.
Formalisez plutôt une décision par type de contenu : pages de présentation, catalogue, articles, études, documentation et espace client. Précisez qui peut arbitrer, pourquoi une exception existe et comment revenir au réglage précédent. L’argument « laisser entraîner le modèle fera connaître ma marque » ne constitue pas une promesse démontrée de recommandation ou de vente.
| Objectif | Contrôle à examiner | Limite |
|---|---|---|
| Refuser une collecte pour l’entraînement | Jeton propre à l’éditeur et règles documentées. | Ne vaut pas effacement rétroactif de toutes les copies. |
| Garder des pages consultables dans un moteur IA | Agent de recherche, pare-feu et accessibilité des pages. | Être accessible ne garantit aucune sélection. |
| Protéger un document confidentiel | Authentification et autorisations d’accès. | robots.txt n’est pas une protection d’accès. |
| Réduire une charge excessive | Mesure des requêtes, règles serveur et limites adaptées. | Une règle trop large peut gêner des visiteurs légitimes. |
Un exemple limité, à adapter au fichier existant
Si votre décision consiste seulement à refuser les collectes GPTBot et ClaudeBot, les groupes suivants illustrent ce choix. Ils ne remplacent pas un robots.txt complet et ne règlent pas les autres agents.
# Exemple : deux collectes refusees
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Avant de les intégrer, relevez les groupes déjà présents. Ajouter des règles au hasard peut rendre le fichier contradictoire ou modifier le comportement d’un robot nommé. Conservez les exclusions techniques utiles et le sitemap réel. Évitez un modèle universel qui autorise expressément tous les chemins à Googlebot sans examiner les restrictions existantes.
La spécification interprétée par Google distingue les groupes d’agents et limite la portée d’un fichier à son hôte, protocole et port. Un fichier sur le domaine principal ne règle donc pas automatiquement tous ses sous-domaines. La syntaxe doit rester du texte brut : une page HTML affichant joliment les règles n’est pas le fichier attendu.
robots.txt ne protège pas un espace privé
Le fichier est public. Y écrire le chemin d’un dossier confidentiel ne rend pas ce dossier inaccessible. Google rappelle aussi qu’une URL interdite à l’exploration peut encore apparaître dans des résultats si elle est connue par ailleurs. Pour des données privées, il faut un contrôle d’accès ; pour une désindexation, un mécanisme d’indexation adapté. Ces limites sont exposées dans son introduction à robots.txt.
Un pare-feu ou un CDN peut agir avant que le robot atteigne WordPress. Un fichier permissif n’annule donc pas un refus HTTP, une vérification JavaScript ou un CAPTCHA. N’autorisez pas une requête sensible sur son seul nom d’agent : celui-ci peut être usurpé. Lorsque le fournisseur publie des plages IP ou une méthode de vérification, utilisez-les avec des règles précises.
Vérifier les effets sans tirer de conclusion trop vite
- Archiver l’état initial. Sauvegardez le fichier, les réglages concernés et quelques réponses HTTP représentatives.
- Contrôler l’accès réel. Examinez une page publique, une ressource nécessaire à son rendu et les restrictions prévues. Le test doit porter sur le serveur et le CDN.
- Lire les journaux disponibles. Recherchez les chemins demandés, les réponses et les agents vérifiés. L’absence de passage dans une période courte ne prouve pas un blocage.
- Comparer après modification. Séparez les erreurs d’accès des problèmes de contenu. Une citation manquante n’est pas une preuve de panne technique.
Un contrôle d'indexation traite l’accès et l’éligibilité. Un audit technique SEO permet de replacer ces observations dans l’état général du site. Il faut conserver la distinction entre correction vérifiable et résultat de visibilité espéré.
Faut-il aussi créer un fichier llms.txt ?
Ne le confondez pas avec robots.txt. Google indique qu’aucun fichier spécial pour l’IA ni balisage supplémentaire n’est requis pour ses fonctionnalités IA. Un document expérimental décrivant vos contenus peut avoir un usage particulier, mais il ne remplace ni l’accès aux pages ni leur qualité, et ne doit contenir aucune information privée. Voir les conditions Google pour les sites.
La priorité reste un choix documenté, cohérent avec votre activité et vérifié sur le site réel. Le périmètre d’un audit SEO technique complet peut ainsi préciser les agents examinés, les preuves d’accès attendues et les limites du diagnostic, sans promettre une citation automatique.
Questions fréquentes
Bloquer GPTBot empêche-t-il mon site d’apparaître dans ChatGPT Search ?
Ce sont deux contrôles distincts chez OpenAI. GPTBot concerne une collecte susceptible de servir à l’entraînement ; OAI-SearchBot concerne Search. Vérifiez aussi le pare-feu : une autorisation dans robots.txt ne suffit pas si le serveur bloque l’accès.
ChatGPT-User respecte-t-il forcément robots.txt ?
Non : OpenAI indique que les règles peuvent ne pas s’appliquer aux actions initiées par un utilisateur. Cet agent ne commande pas l’éligibilité à Search. Une ressource privée doit être protégée par un véritable contrôle d’accès.
Puis-je exclure mon site des AI Overviews sans quitter Google Search ?
Le contrôle Search generative AI de Search Console permet désormais cette exclusion pour les fonctionnalités couvertes. Vérifiez le réglage de la propriété et l’héritage éventuel d’une propriété parente. Cette commande est distincte du contrôle de l’entraînement.
Une absence de robot dans les journaux prouve-t-elle un blocage ?
Non. Le robot peut ne pas avoir choisi de visiter le site durant la période observée. Recherchez plutôt des réponses refusées, une règle précise ou une incohérence d’accès reproductible, avant de conclure.
Une autorisation de crawl garantit-elle une citation ?
Non. Elle enlève éventuellement un obstacle d’accès. Le choix d’une source dépend ensuite du service, de la question et des contenus disponibles ; il doit être observé séparément des tests techniques.