- Quels bots IA frappent à la porte de ton site — et comment les identifier
- Pourquoi bloquer GPTBot peut être une erreur stratégique quand +357% de trafic vient désormais des IA
- La syntaxe exacte à copier-coller dans ton robots.txt pour autoriser ou bloquer chaque bot
- Ce que ton robots.txt ne peut pas faire seul — et quoi ajouter pour aller plus loin
Ton site reçoit des visiteurs que tu ne vois pas. Ils ne cliquent pas, ne s’abonnent pas, ne remplissent aucun formulaire. Pourtant, ce sont eux qui décident si ChatGPT, Gemini ou Perplexity vont citer ton nom — ou pas.
Ce sont les bots IA. Et ton robots.txt leur parle en ce moment même. La question : est-ce qu’il dit la bonne chose ?
🤖 La liste complète des bots IA qui crawlent ton site
Les bots IA sont des programmes automatisés qui parcourent le web pour nourrir les modèles de langage. Contrairement aux bots Google qui indexent pour un moteur de recherche, ces bots alimentent des IA génératives — celles que tes clients utilisent pour trouver des réponses sans jamais visiter ton site.
Voici les principaux à connaître, avec leur nom technique dans le fichier robots.txt :
- GPTBot — OpenAI (ChatGPT)
- ChatGPT-User — OpenAI (navigation en temps réel)
- Claude-Web — Anthropic (Claude)
- Google-Extended — Google DeepMind (Gemini + AI Overviews)
- PerplexityBot — Perplexity
- Bingbot / MSNBot — Microsoft AI (Copilot)
- CCBot — Common Crawl (base d’entraînement de nombreux modèles)
- Amazonbot — Amazon (Alexa, modèles internes)
- Meta-ExternalAgent — Meta AI
- Bytespider — ByteDance (DeepSeek, TikTok)
- MistralAI-User — Mistral AI (Le Chat)
- xAI-Bot — xAI (Grok)
Chacun de ces bots visite ton site, lit ton contenu, et décide si tu mérites d’être cité quand un utilisateur pose une question dans le domaine.
⚠️ Autoriser ou bloquer : le vrai choix stratégique
Bloquer les bots IA protège ton contenu de l’exploitation commerciale sans contrepartie. Mais ça te rend aussi invisible dans les réponses générées par l’IA — au moment précis où **39% des Français** utilisent ces outils pour leurs recherches.
Le trafic venant des IA a bondi de **+357% en un an**. Pendant ce temps, le CTR en position 1 sur Google a chuté de **-58%** avec l’arrivée des AI Overviews. Autrement dit : le jeu se déplace, et ton contenu doit être là où les IA vont chercher leurs réponses.
Bloquer Google-Extended n’empêche pas Google de t’indexer dans les résultats classiques — ça empêche seulement ton contenu d’alimenter Gemini et les AI Overviews. Deux choses différentes, deux bots différents. Beaucoup de propriétaires de sites confondent les deux et se retrouvent invisibles dans les réponses IA sans le savoir.
**La règle de base :**
– Tu vends un produit ou un service et tu veux être recommandé par les IA → **autorise tout**
– Tu es éditeur de contenus premium (cours payants, formations, rapports) → **bloque sélectivement**
– Tu n’as pas encore de stratégie GEO (Generative Engine Optimization) → **autorise, et construis ensuite**
Le GEO, c’est l’ensemble des pratiques qui optimisent ta visibilité dans les réponses des moteurs génératifs. Le LLMO (Large Language Model Optimization) va plus loin : il optimise pour que les modèles de langage retiennent et citent ton contenu. L’AEO (Answer Engine Optimization) cible spécifiquement les moteurs de réponse comme Perplexity. Trois approches, même objectif : apparaître quand les IA parlent de ton secteur.
✅ La syntaxe exacte à copier-coller dans ton robots.txt
Le fichier robots.txt se trouve à la racine de ton site : `tonsite.fr/robots.txt`. Chaque règle suit la même logique : tu nommes le bot, tu lui dis ce qu’il peut faire.
**Pour tout autoriser (recommandé si tu veux de la visibilité IA) :**
User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Google-Extended Allow: / User-agent: Claude-Web Allow: / User-agent: PerplexityBot Allow: / User-agent: CCBot Allow: / User-agent: Meta-ExternalAgent Allow: / User-agent: Bytespider Allow: / User-agent: Amazonbot Allow: /
**Pour tout bloquer (si tu protèges un contenu sensible) :**
User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: Google-Extended Disallow: / User-agent: Claude-Web Disallow: / User-agent: PerplexityBot Disallow: / User-agent: CCBot Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: /
**Pour une approche chirurgicale — autoriser les IA mais bloquer un dossier précis :**
User-agent: GPTBot Disallow: /membres/ Disallow: /formations/ Allow: /
🚀 Robots.txt, c’est le début — pas la fin
Ouvrir ta porte aux bots IA, c’est nécessaire. Mais suffisant ? Non.
**50% du contenu cité par les IA a moins de 13 semaines.** Ce chiffre dit tout : les IA favorisent le contenu récent, structuré, clair. Un robots.txt ouvert sur un site qui n’a pas publié depuis deux ans ne va pas miraculeusement apparaître dans les réponses de Perplexity ou de Gemini.
Ce qu’il faut ajouter à ta stratégie :
– Un fichier **llms.txt** à la racine de ton site : c’est un fichier texte qui explique aux IA qui tu es, ce que tu fais, et quelles pages sont les plus importantes. Une sorte de lettre de présentation pour les modèles de langage.
– Du **contenu régulier et factuel** — les IA aiment les réponses directes, les listes, les chiffres
– Travailler ta **Share of Model** : la fréquence à laquelle ton nom ou ta marque est citée par les IA quand on parle de ton domaine
Le robots.txt dit aux bots s’ils peuvent entrer. Le contenu dit aux IA si tu mérites d’être cité. Les deux sont indispensables — mais dans cet ordre.
—
❓ FAQ — Robots.txt et bots IA
❓ Est-ce que les bots IA respectent vraiment le robots.txt ?
Les bots des grands acteurs (OpenAI, Google, Anthropic, Microsoft) respectent généralement les règles du robots.txt. En revanche, certains bots moins connus ou malveillants peuvent les ignorer. Pour une protection renforcée, des solutions techniques complémentaires existent au niveau serveur.
❓ Si je bloque GPTBot, est-ce que ChatGPT ne me citera plus jamais ?
Pas tout à fait. Bloquer GPTBot empêche OpenAI de crawler ton site pour enrichir ses données d’entraînement futures. Mais ChatGPT peut encore avoir indexé ton contenu dans ses données passées, et peut te citer via des sources tierces qui t’ont mentionné.
❓ Quelle est la différence entre GPTBot et ChatGPT-User ?
GPTBot est le robot d’exploration utilisé pour entraîner les modèles d’OpenAI. ChatGPT-User est le bot actif quand un utilisateur demande à ChatGPT de parcourir le web en temps réel (fonctionnalité de navigation). Les deux méritent une règle distincte dans ton robots.txt.
❓ Est-ce que le robots.txt suffit pour apparaître dans les réponses IA ?
Non. Le robots.txt ouvre la porte. Pour être cité, ton contenu doit être structuré, récent et pertinent. Les IA citent en priorité les contenus de moins de 13 semaines, les réponses directes et les sources crédibles dans leur domaine.
❓ C’est quoi le fichier llms.txt dont on parle en ce moment ?
Le llms.txt est un fichier texte placé à la racine de ton site (comme robots.txt) qui explique aux modèles de langage comment lire et comprendre ton site. Il liste tes pages importantes, décrit ton activité et facilite l’extraction d’informations pertinentes par les IA génératives.
❓ Je suis artisan ou indépendant — est-ce que ça me concerne vraiment ?
Oui, directement. 44% des Français actifs utilisent une IA générative. Quand un client potentiel demande « quel plombier recommandes-tu dans ma ville » ou « trouve-moi un coach business spécialisé en reconversion », les IA répondent. Si ton site est bloqué ou mal structuré, tu n’existes pas dans ces réponses.
—
—
- Les bots IA principaux à gérer dans ton robots.txt : GPTBot, ChatGPT-User, Google-Extended, Claude-Web, PerplexityBot, CCBot, Bytespider, Amazonbot
- Autoriser ces bots est stratégique : le trafic venant des IA a progressé de +357% en un an
- Bloquer Google-Extended t’exclut des AI Overviews et de Gemini — sans toucher à ton référencement classique
- Le robots.txt ouvre la porte, mais c’est la qualité de ton contenu qui décide si les IA te citent
- Complète avec un fichier llms.txt pour expliquer ton site aux modèles de langage
—
Christelle transforme ta journée de pro en articles de blog. Tu prends une photo du chantier le matin. Tu envoies un vocal à midi pour expliquer ce que tu fais. Une autre photo du résultat le soir. Tu dis « go ». Christelle écrit l’article et le publie sur ton site.
Pas de rédaction. Pas de planification éditoriale. Tu vis ta journée, ton blog vit avec toi. Et les IA commencent à parler de toi.
👉 Pour en savoir plus et faire un test gratuit → christelle.app
Rédacteur chez Christelle