Faut-il bloquer les robots IA (GPTBot, ClaudeBot, PerplexityBot) dans son robots.txt ?

Non, il ne faut pas bloquer tous les robots IA. La stratégie recommandée pour la majorité des sites en 2026 consiste à distinguer deux familles : bloquer éventuellement les robots d'entraînement (GPTBot, ClaudeBot, CCBot), qui aspirent votre contenu pour nourrir les modèles sans rien vous rapporter, et autoriser les robots de recherche et de citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot), qui permettent à votre site d'être cité, avec lien, dans les réponses de ChatGPT, Perplexity et consorts. Bloquer les seconds en croyant se protéger, c'est s'effacer soi-même des réponses que vos clients lisent désormais à la place de Google.

Détaillons, parce que la nuance est précisément ce qui manque dans 90 % des robots.txt que nous auditons.

Pourquoi la question se pose (et pourquoi elle fâche)

Chaque jour, des dizaines de robots parcourent votre site sans que vous le sachiez. Selon les données publiées par Cloudflare, les crawlers d'entraînement représentent à eux seuls plus de 40 % du crawl IA total, contre moins de 7 % pour les crawlers de recherche et à peine plus de 2 % pour les robots déclenchés par une action utilisateur.

Le problème, c'est l'asymétrie de l'échange. Un robot d'entraînement aspire votre contenu, consomme votre bande passante, et ne renvoie ni trafic ni attribution. Pour certains crawlers, le ratio entre pages aspirées et visites renvoyées se compte en dizaines de milliers pour un. Les éditeurs de presse s'en sont émus, les hébergeurs aussi : Cloudflare a lancé en 2025 un système Pay-per-Crawl facturant les bots IA à la requête, première tentative sérieuse de rééquilibrer l'échange de valeur.

Face à ça, la tentation du blocage total est compréhensible. Elle est aussi, dans la plupart des cas, une erreur stratégique.

Comprendre les 3 familles de bots IA

Tout le sujet tient dans cette distinction. Un même éditeur (OpenAI, Anthropic, Google) opère plusieurs robots aux fonctions radicalement différentes.

Les robots d'entraînement

Ils collectent massivement du contenu pour entraîner les futurs modèles. Aucune attribution, aucun trafic en retour.

• GPTBot (OpenAI)
• ClaudeBot (Anthropic)
• Google-Extended (Google, pour Gemini et Vertex AI)
• CCBot (Common Crawl, dont les données alimentent de nombreux modèles)
• Applebot-Extended (Apple Intelligence)
• Meta-ExternalAgent (Meta)
• Bytespider (ByteDance/TikTok)

Les robots de recherche IA

Ils indexent le web pour permettre aux moteurs génératifs de citer des sources en temps réel, avec lien cliquable. Les bloquer vous retire des réponses.

• OAI-SearchBot (OpenAI) : la documentation d'OpenAI est explicite, un site qui le bloque n'apparaît pas dans les réponses de ChatGPT Search
• PerplexityBot (Perplexity)
• Claude-SearchBot (Anthropic)

Les robots d'action utilisateur

Ils consultent une page uniquement quand un utilisateur le demande explicitement à son assistant ("résume-moi cette page", "vérifie les horaires sur ce site").

• ChatGPT-User (OpenAI)
• Claude-User (Anthropic)

Bloquer ces derniers revient à claquer la porte au nez d'un prospect qui utilise une IA comme navigateur. Rarement une bonne idée pour un site commercial.

Ce que le blocage change (et ne change pas) pour votre SEO

Trois points essentiels, sources de confusion permanente :

1. Bloquer GPTBot, ClaudeBot ou PerplexityBot n'a aucun impact sur votre classement Google. Ces robots sont totalement indépendants de Googlebot.
2. Google-Extended n'affecte ni Google Search ni les AI Overviews. C'est le point le plus contre-intuitif : ce jeton contrôle uniquement l'usage de vos contenus pour l'entraînement de Gemini et Vertex AI. Les AI Overviews, eux, sont servis via Googlebot classique. Vous pouvez donc bloquer Google-Extended sans disparaître de Google, mais vous ne pouvez pas refuser les AI Overviews sans refuser Google Search tout entier. Google a verrouillé le paquet, et on peut légitimement trouver le procédé discutable.
3. Le robots.txt est une convention, pas une barrière. Les grands acteurs (OpenAI, Anthropic, Google) documentent et respectent leurs user-agents. D'autres sont moins scrupuleux : Bytespider a été signalé à de multiples reprises pour non-respect du protocole, et Cloudflare a documenté en 2025 l'usage par Perplexity de crawlers furtifs non déclarés pour contourner les directives d'exclusion. Pour un blocage réel, il faut passer par le pare-feu ou les règles CDN, pas par un simple fichier texte.

Le template robots.txt recommandé en 2026

Voici la configuration "sélective" adaptée à la majorité des sites de contenu, vitrines et e-commerces : on refuse l'entraînement, on accepte la citation.

# --- Bots de recherche et de citation IA : AUTORISÉS ---
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# --- Bots d'entraînement : BLOQUÉS ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

# --- Moteurs de recherche classiques : ne jamais bloquer ---
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.votresite.fr/sitemap.xml

Deux variantes selon votre situation :

• Site média ou contenu premium : blocage étendu, y compris des bots de recherche, éventuellement combiné à une stratégie de licence ou au Pay-per-Crawl. Vous sacrifiez la visibilité IA pour protéger l'actif éditorial. Cohérent si votre contenu EST votre produit.
• Site vitrine, TPE, e-commerce : vous pouvez même tout autoriser, entraînement compris. Être "connu" du modèle lui-même renforce votre entité et votre rappel de marque quand une IA répond de mémoire, sans recherche web. Le risque de pillage est faible quand le contenu est avant tout commercial.

Il est aussi possible d'affiner par répertoire : autoriser les bots sur le catalogue public et les bloquer sur les espaces clients, les PDF téléchargeables ou les études propriétaires. Une politique unique pour tout le domaine est rarement optimale.

L'erreur silencieuse qui coûte le plus cher

D'après les audits publiés par plusieurs agences et outils spécialisés, une part considérable des PME bloquent au moins un crawler IA majeur sans le savoir. Les causes classiques :

• Un User-agent: * Disallow: / hérité d'une préproduction jamais nettoyé ;
• Un plugin SEO WordPress configuré de façon trop agressive ;
• Un blocage au niveau du CDN : de nombreux hébergeurs et Cloudflare proposent désormais un blocage des bots IA activé par défaut ou en un clic, qui court-circuite silencieusement votre robots.txt. Environ un quart des sites B2B seraient concernés sans le savoir.

Le diagnostic est simple : lisez votre robots.txt ligne par ligne, vérifiez les réglages bots de votre CDN, puis cherchez dans vos logs serveur les user-agents concernés et les réponses 403. Si OAI-SearchBot ou PerplexityBot n'apparaissent jamais dans vos logs alors que vos concurrents sont cités par ChatGPT, vous avez votre réponse.

C'est exactement le type de blocage invisible que nous traquons lors d'un contrôle d'indexation : ce qui empêchait hier Googlebot de vous voir empêche aujourd'hui les IA de vous citer, et les deux se corrigent ensemble dans un audit technique SEO.

Et le fichier llms.txt ?

Vous croiserez peut-être ce nouveau venu : un fichier à la racine du site indiquant aux IA vos contenus prioritaires, en Markdown. Son adoption reste marginale (environ 10 % des domaines selon Ahrefs) et aucun grand acteur ne s'est engagé à le respecter formellement. Verdict : coût quasi nul, bénéfice incertain, aucun risque. À mettre en place si vous avez dix minutes, sans en attendre de miracle.

En résumé

Décision	Verdict
Bloquer tous les bots IA	Non, sauf contenu premium à protéger
Bloquer les bots d'entraînement uniquement	Oui, choix cohérent pour protéger sa propriété intellectuelle
Bloquer les bots de recherche (OAI-SearchBot, PerplexityBot)	Non : vous vous effacez des réponses IA
Bloquer ChatGPT-User / Claude-User	Non : vous refusez des prospects assistés par IA
Bloquer Google-Extended	Oui si souhaité, sans impact sur Google Search
Compter sur robots.txt comme protection réelle	Non : convention volontaire, pas une barrière

Le fichier robots.txt de 2026 n'est plus un détail technique pour initiés : c'est un document de politique éditoriale qui décide qui a le droit d'apprendre de vous, et qui a le droit de vous recommander. Il mérite dix minutes de réflexion stratégique, et une revérification trimestrielle, car de nouveaux user-agents apparaissent en permanence.

Un doute sur ce que votre configuration actuelle bloque réellement ? C'est l'une des premières choses que nous vérifions dans notre audit SEO technique complet, logs serveur à l'appui.