El teu web bloqueja ChatGPT sense saber-ho? Rastrejadors d’IA i robots.txt

Resposta curta. Per sortir a les respostes dels assistents d’IA, el teu web ha de deixar passar els seus rastrejadors de cerca: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Googlebot (Google, també per a AI Overviews i el Mode IA) i Bingbot (l’índex de Bing, que consulta Copilot). Els bots d’entrenament, com GPTBot o el token Google-Extended, són una altra decisió: segons OpenAI i Google, bloquejar-los no et treu de la cerca de ChatGPT ni de Google.

Un web pot funcionar bé a Google i, sense que ningú no ho sàpiga, tancar la porta a la IA. Aquesta guia t’ajuda a comprovar-ho. Totes les dades es van revisar el 25 d’octubre de 2026 a la documentació de cada empresa.

Quatre dades per començar:

• ~24 hores triga la cerca de ChatGPT a aplicar un canvi al teu robots.txt, segons OpenAI.
• 5xx = tot prohibit: si el teu robots.txt retorna un error de servidor, la norma obliga el bot a suposar que no pot entrar a cap pàgina.
• Sense efecte: bloquejar Google-Extended no canvia la teva inclusió a Google Search ni el teu posicionament, segons Google.
• 15-09-2026: des d’aquell dia, a Cloudflare, l’opció «Block» contra l’entrenament també frena Googlebot, Bingbot i Applebot.

Quins tipus de bots d’IA visiten el teu web?

Cada empresa d’IA fa servir diversos rastrejadors amb finalitats diferents.

Els de cerca decideixen si surts. Els d’entrenament recullen contingut per a models futurs. Els que actuen a petició llegeixen una pàgina perquè algú l’ha demanada al xat.

Què passa si bloqueges cada bot?

Resum de la documentació oficial de cada empresa:

Què passa si bloqueges cada bot?

Bot	Empresa	Per a què serveix	Si el bloqueges
OAI-SearchBot	OpenAI	Cerca de ChatGPT	No surts a les respostes de cerca de ChatGPT
GPTBot	OpenAI	Entrenament	El teu contingut no es fa servir per entrenar els seus models
ChatGPT-User	OpenAI	Visites que demana un usuari	OpenAI avisa que el robots.txt «pot no aplicar-se»
Claude-SearchBot	Anthropic	Cerca de Claude	El teu contingut no s’indexa per a la seva cerca
ClaudeBot	Anthropic	Entrenament	El teu contingut futur queda fora de l’entrenament
Claude-User	Anthropic	Visites que demana un usuari	Claude no pot llegir la teva pàgina quan algú li ho demana
PerplexityBot	Perplexity	Cerca; no entrena models	Perplexity recomana permetre’l
Perplexity-User	Perplexity	Visites que demana un usuari	En general, ignora el robots.txt
Googlebot	Google	Google Search, amb AI Overviews i Mode IA	No et rastreja per a Search ni per a les seves funcions d’IA
Google-Extended	Google	Token per a l’entrenament i la fonamentació de Gemini	No afecta Google Search ni el posicionament
Bingbot	Microsoft	Índex de Bing, que consulta Copilot	Copilot perd aquesta via cap a les teves pàgines (deducció nostra)
Applebot / Applebot-Extended	Apple	Spotlight, Siri i Safari / exclusió de l’entrenament	Amb Applebot surts d’aquestes funcions; amb -Extended, només de l’entrenament
Meta-WebIndexer	Meta	Cerca de Meta AI	Meta diu que permetre’l l’ajuda a citar-te
Meta-ExternalAgent	Meta	Entrenament i millora de productes	Surts de l’entrenament i potser d’una part de la indexació

Dos detalls útils. OpenAI explica que, si permets alhora OAI-SearchBot i GPTBot, pot fer servir un sol rastreig per a totes dues finalitats. I Anthropic demana repetir la configuració a cada subdomini, perquè cadascun té el seu propi robots.txt.

Com llegeix un bot el teu robots.txt?

Les regles són a la norma RFC 9309 (IETF, setembre del 2022). Convé conèixer-ne quatre:

1. No és un pany. La norma ho diu així: «These rules are not a form of access authorization». És una petició.
2. Cada bot busca el seu grup pel nom. Només si no hi ha cap grup amb el seu nom obeeix el grup User-agent: *. Si crees un grup per a GPTBot, les regles de * deixen d’aplicar-se a GPTBot.
3. Guanya la regla més específica. Si un mateix grup té Disallow: / i Allow: /blog/, el blog queda obert.
4. Un error de servidor ho tanca tot. Amb un 5xx, el bot ha de suposar que tot està prohibit; amb un 404, ho pot rastrejar tot.

Una advertència de Google: el robots.txt no treu una pàgina del cercador. Una URL bloquejada pot continuar sortint si altres pàgines l’enllacen. Perquè no s’indexi, fes servir noindex, i no la bloquegis alhora, perquè el bot ha d’entrar per llegir aquesta etiqueta.

Quin robots.txt li convé a la teva empresa?

Canvia elteuweb.cat pel teu domini. A la majoria d’empreses els serveix la primera.

1. Visibilitat màxima. Tots els bots poden llegir-ho tot.

User-agent: *
Allow: /

Sitemap: https://elteuweb.cat/sitemap.xml

2. Cerca sí, entrenament no. Apareixes a les cerques amb IA i demanes que el teu contingut no es faci servir per entrenar.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://elteuweb.cat/sitemap.xml

Hem deixat fora Meta-ExternalAgent expressament: Meta diu que també el fa servir per indexar contingut, així que bloquejar-lo pot anar més enllà de l’entrenament.

3. L’error que cal evitar. Aquestes dues línies bloquegen tots els bots, inclosos OAI-SearchBot i Googlebot. Poden arribar a producció des d’un web de proves sense que ningú no se n’adoni.

User-agent: *
Disallow: /

Convé bloquejar GPTBot?

És una decisió sobre l’entrenament, no sobre la teva visibilitat a la cerca de ChatGPT, que depèn d’OAI-SearchBot. Si la teva prioritat és que et recomanin, nosaltres el deixaríem obert.

Si el teu contingut és el teu producte (un mitjà, un curs, una base de dades), bloquejar-lo té sentit. El que ningú no sap és si sortir de l’entrenament canvia el que els models futurs «saben» de la teva empresa: no hi ha dades públiques que ho mesurin.

Què més pot bloquejar un bot, a part del robots.txt?

Un robots.txt perfecte no serveix de res si una altra capa frena el bot abans.

• CDN i tallafoc. Cloudflare va canviar la configuració el 15 de setembre de 2026. Des d’aleshores, triar «Block» a la categoria d’entrenament frena també Googlebot, Bingbot i Applebot, «search included», perquè són rastrejadors mixtos. Per frenar només l’entrenament, Cloudflare proposa l’opció «Disallow AI Training».
• Bots falsos. Qualsevol pot dir-se «GPTBot». OpenAI i Perplexity publiquen les adreces IP dels seus rastrejadors perquè el teu proveïdor comprovi que són reals.
• JavaScript. En una anàlisi de Vercel i MERJ del desembre del 2024, cap dels grans rastrejadors d’IA no executava JavaScript, tret de Gemini (amb la infraestructura de Googlebot) i Applebot. És una dada antiga: el més prudent és que preus, serveis i contacte siguin a l’HTML que lliura el servidor.

Com comproves si el teu web bloqueja la IA?

1. Obre elteuweb.cat/robots.txt i comprova que carrega sense error i diu el que creus.
2. Busca grups amb Disallow: / i mira a quins bots afecten.
3. Revisa a la teva CDN o tallafoc la configuració per a bots d’IA.
4. Si pots veure els registres del servidor, busca-hi els noms dels bots i els seus codis de resposta. Un 403 repetit a OAI-SearchBot apunta al tallafoc o a la CDN.

Preguntes freqüents

I ara què?

Si veus bloquejos que no entens, o vols saber com et descriuen els assistents, et podem ajudar. El diagnòstic gratuït inclou la revisió tècnica de l’accés dels bots d’IA, i a serveis expliquem com corregim el que trobem i ho mantenim al dia cada mes. Ningú no pot garantir una posició en una resposta d’IA; el que sí que està a les teves mans és que cap bot no es quedi a la porta.