Votre site bloque-t-il ChatGPT sans le savoir ? Robots d’IA et robots.txt

En bref. Pour apparaître dans les réponses des assistants d’IA, votre site doit laisser passer leurs robots de recherche : OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Googlebot (Google, y compris pour les Aperçus IA et le Mode IA) et Bingbot (l’index de Bing, que consulte Copilot). Les robots d’entraînement, comme GPTBot ou le jeton Google-Extended, relèvent d’une autre décision : selon OpenAI et Google, les bloquer ne vous retire pas de la recherche de ChatGPT ni de Google.

Un site peut très bien fonctionner sur Google et, sans que personne ne le sache, fermer la porte à l’IA. Ce guide vous aide à le vérifier. Toutes les données ont été vérifiées le 25 octobre 2026 dans la documentation de chaque entreprise.

Quatre chiffres pour commencer :

• ~24 heures : le délai pour que la recherche de ChatGPT applique un changement de votre robots.txt, selon OpenAI.
• 5xx = tout interdit : si votre robots.txt renvoie une erreur serveur, la norme oblige le robot à supposer qu’il ne peut entrer sur aucune page.
• Aucun effet : bloquer Google-Extended ne change ni votre inclusion dans Google Search ni votre classement, selon Google.
• 15-09-2026 : depuis ce jour, chez Cloudflare, le réglage « Block » contre l’entraînement freine aussi Googlebot, Bingbot et Applebot.

Quels types de robots d’IA visitent votre site ?

Chaque entreprise d’IA utilise plusieurs robots aux finalités différentes.

Ceux de recherche décident si vous apparaissez. Ceux d’entraînement collectent du contenu pour de futurs modèles. Ceux qui agissent à la demande lisent une page parce que quelqu’un l’a demandée dans le chat.

Que se passe-t-il si vous bloquez chaque robot ?

Résumé de la documentation officielle de chaque entreprise :

Que se passe-t-il si vous bloquez chaque robot ?

Robot	Entreprise	À quoi il sert	Si vous le bloquez
OAI-SearchBot	OpenAI	Recherche de ChatGPT	Vous n’apparaissez pas dans les réponses de recherche de ChatGPT
GPTBot	OpenAI	Entraînement	Votre contenu n’est pas utilisé pour entraîner ses modèles
ChatGPT-User	OpenAI	Visites demandées par un utilisateur	OpenAI prévient que le robots.txt « peut ne pas s’appliquer »
Claude-SearchBot	Anthropic	Recherche de Claude	Votre contenu n’est pas indexé pour sa recherche
ClaudeBot	Anthropic	Entraînement	Votre contenu futur reste hors de l’entraînement
Claude-User	Anthropic	Visites demandées par un utilisateur	Claude ne peut pas lire votre page quand on le lui demande
PerplexityBot	Perplexity	Recherche ; n’entraîne pas de modèles	Perplexity recommande de l’autoriser
Perplexity-User	Perplexity	Visites demandées par un utilisateur	En général, ignore le robots.txt
Googlebot	Google	Google Search, avec Aperçus IA et Mode IA	Il ne vous explore plus ni pour Search ni pour ses fonctions d’IA
Google-Extended	Google	Jeton pour l’entraînement et l’ancrage (grounding) de Gemini	N’affecte ni Google Search ni le classement
Bingbot	Microsoft	Index de Bing, que consulte Copilot	Copilot perd cette voie vers vos pages (déduction de notre part)
Applebot / Applebot-Extended	Apple	Spotlight, Siri et Safari / exclusion de l’entraînement	Avec Applebot, vous sortez de ces fonctions ; avec -Extended, seulement de l’entraînement
Meta-WebIndexer	Meta	Recherche de Meta AI	Meta indique que l’autoriser l’aide à vous citer
Meta-ExternalAgent	Meta	Entraînement et amélioration des produits	Vous sortez de l’entraînement et peut-être d’une partie de l’indexation

Deux détails utiles. OpenAI explique que, si vous autorisez à la fois OAI-SearchBot et GPTBot, il peut utiliser une seule exploration pour les deux finalités. Et Anthropic demande de répéter la configuration sur chaque sous-domaine, car chacun a son propre robots.txt.

Comment un robot lit-il votre robots.txt ?

Les règles figurent dans la norme RFC 9309 (IETF, septembre 2022). Quatre d’entre elles méritent d’être connues :

1. Ce n’est pas une serrure. La norme le dit ainsi : « These rules are not a form of access authorization ». C’est une demande.
2. Chaque robot cherche son groupe par son nom. Ce n’est qu’en l’absence d’un groupe à son nom qu’il suit le groupe User-agent: *. Si vous créez un groupe pour GPTBot, les règles de * ne s’appliquent plus à GPTBot.
3. La règle la plus précise l’emporte. Si un même groupe contient Disallow: / et Allow: /blog/, le blog reste ouvert.
4. Une erreur serveur ferme tout. Avec un 5xx, le robot doit supposer que tout est interdit ; avec un 404, il peut tout explorer.

Une mise en garde de Google : le robots.txt ne retire pas une page du moteur de recherche. Une URL bloquée peut continuer d’apparaître si d’autres pages pointent vers elle. Pour qu’elle ne soit pas indexée, utilisez noindex, sans la bloquer en même temps, car le robot doit entrer pour lire cette balise.

Quel robots.txt convient à votre entreprise ?

Remplacez votresite.fr par votre domaine. Pour la plupart des entreprises, le premier suffit.

1. Visibilité maximale. Tous les robots peuvent tout lire.

User-agent: *
Allow: /

Sitemap: https://votresite.fr/sitemap.xml

2. Recherche oui, entraînement non. Vous apparaissez dans les recherches avec IA et demandez que votre contenu ne serve pas à l’entraînement.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://votresite.fr/sitemap.xml

Nous avons volontairement laissé de côté Meta-ExternalAgent : Meta indique qu’il l’utilise aussi pour indexer du contenu, donc le bloquer peut aller au-delà de l’entraînement.

3. L’erreur à éviter. Ces deux lignes bloquent tous les robots, y compris OAI-SearchBot et Googlebot. Elles peuvent passer en production depuis un site de test sans que personne ne le remarque.

User-agent: *
Disallow: /

Faut-il bloquer GPTBot ?

C’est une décision sur l’entraînement, pas sur votre visibilité dans la recherche de ChatGPT, qui dépend d’OAI-SearchBot. Si votre priorité est d’être recommandé, nous le laisserions ouvert.

Si votre contenu est votre produit (un média, une formation, une base de données), le bloquer a du sens. Ce que personne ne sait, c’est si sortir de l’entraînement change ce que les futurs modèles « savent » de votre entreprise : aucune donnée publique ne le mesure.

Qu’est-ce qui peut bloquer un robot, en dehors du robots.txt ?

Un robots.txt parfait ne sert à rien si une autre couche arrête le robot avant.

• CDN et pare-feu. Cloudflare a modifié ses réglages le 15 septembre 2026. Depuis, choisir « Block » dans la catégorie entraînement freine aussi Googlebot, Bingbot et Applebot, « search included », car ce sont des robots à usage mixte. Pour ne freiner que l’entraînement, Cloudflare propose l’option « Disallow AI Training ».
• Faux robots. N’importe qui peut se faire appeler « GPTBot ». OpenAI et Perplexity publient les adresses IP de leurs robots pour que votre fournisseur vérifie qu’ils sont authentiques.
• JavaScript. Dans une analyse de Vercel et MERJ de décembre 2024, aucun des grands robots d’IA n’exécutait JavaScript, sauf Gemini (avec l’infrastructure de Googlebot) et Applebot. La donnée est ancienne : par prudence, prix, services et coordonnées doivent figurer dans le HTML envoyé par le serveur.

Comment vérifier si votre site bloque l’IA ?

1. Ouvrez votresite.fr/robots.txt et vérifiez qu’il se charge sans erreur et dit ce que vous croyez.
2. Cherchez les groupes avec Disallow: / et regardez quels robots ils concernent.
3. Vérifiez dans votre CDN ou votre pare-feu les réglages pour les robots d’IA.
4. Si vous avez accès aux journaux du serveur, cherchez les noms des robots et leurs codes de réponse. Un 403 répété pour OAI-SearchBot pointe vers le pare-feu ou le CDN.

Questions fréquentes

Et maintenant ?

Si vous voyez des blocages que vous ne comprenez pas, ou si vous voulez savoir comment les assistants vous décrivent, nous pouvons vous aider. Le diagnostic gratuit comprend la vérification technique de l’accès des robots d’IA, et dans services nous expliquons comment nous corrigeons ce que nous trouvons et le tenons à jour chaque mois. Personne ne peut garantir une position dans une réponse d’IA ; ce qui dépend de vous, c’est qu’aucun robot ne reste à la porte.