¿Tu web bloquea a ChatGPT sin saberlo? Rastreadores de IA y robots.txt

Respuesta corta. Para salir en las respuestas de los asistentes de IA, tu web tiene que dejar pasar a sus rastreadores de búsqueda: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude), PerplexityBot (Perplexity), Googlebot (Google, también para AI Overviews y el Modo IA) y Bingbot (el índice de Bing, que consulta Copilot). Los bots de entrenamiento, como GPTBot o el token Google-Extended, son otra decisión: según OpenAI y Google, bloquearlos no te saca de la búsqueda de ChatGPT ni de Google.

Una web puede funcionar bien en Google y, sin que nadie lo sepa, cerrar la puerta a la IA. Esta guía te ayuda a comprobarlo. Todos los datos se revisaron el 25 de octubre de 2026 en la documentación de cada empresa.

Cuatro datos para empezar:

• ~24 horas tarda la búsqueda de ChatGPT en aplicar un cambio en tu robots.txt, según OpenAI.
• 5xx = todo prohibido: si tu robots.txt devuelve un error de servidor, la norma obliga al bot a suponer que no puede entrar en ninguna página.
• Sin efecto: bloquear Google-Extended no cambia tu inclusión en Google Search ni tu posicionamiento, según Google.
• 15-09-2026: desde ese día, en Cloudflare, el ajuste «Block» contra el entrenamiento también frena a Googlebot, Bingbot y Applebot.

¿Qué tipos de bots de IA visitan tu web?

Cada empresa de IA usa varios rastreadores con propósitos distintos.

Los de búsqueda deciden si sales. Los de entrenamiento recogen contenido para modelos futuros. Los que actúan a petición leen una página porque alguien la ha pedido en el chat.

¿Qué pasa si bloqueas cada bot?

Resumen de la documentación oficial de cada empresa:

¿Qué pasa si bloqueas cada bot?

Bot	Empresa	Para qué sirve	Si lo bloqueas
OAI-SearchBot	OpenAI	Búsqueda de ChatGPT	No sales en las respuestas de búsqueda de ChatGPT
GPTBot	OpenAI	Entrenamiento	Tu contenido no se usa para entrenar sus modelos
ChatGPT-User	OpenAI	Visitas que pide un usuario	OpenAI avisa de que el robots.txt «puede no aplicar»
Claude-SearchBot	Anthropic	Búsqueda de Claude	No se indexa tu contenido para su búsqueda
ClaudeBot	Anthropic	Entrenamiento	Tu contenido futuro queda fuera del entrenamiento
Claude-User	Anthropic	Visitas que pide un usuario	Claude no puede leer tu página cuando alguien se lo pide
PerplexityBot	Perplexity	Búsqueda; no entrena modelos	Perplexity recomienda permitirlo
Perplexity-User	Perplexity	Visitas que pide un usuario	En general, ignora el robots.txt
Googlebot	Google	Google Search, con AI Overviews y Modo IA	No te rastrea para Search ni para sus funciones de IA
Google-Extended	Google	Token para el entrenamiento y la fundamentación de Gemini	No afecta a Google Search ni al posicionamiento
Bingbot	Microsoft	Índice de Bing, que consulta Copilot	Copilot pierde esa vía hacia tus páginas (deducción nuestra)
Applebot / Applebot-Extended	Apple	Spotlight, Siri y Safari / exclusión del entrenamiento	Con Applebot sales de esas funciones; con -Extended, solo del entrenamiento
Meta-WebIndexer	Meta	Búsqueda de Meta AI	Meta dice que permitirlo le ayuda a citarte
Meta-ExternalAgent	Meta	Entrenamiento y mejora de productos	Sales del entrenamiento y quizá de parte de la indexación

Dos detalles útiles. OpenAI explica que, si permites a la vez OAI-SearchBot y GPTBot, puede usar un solo rastreo para los dos fines. Y Anthropic pide repetir la configuración en cada subdominio, porque cada uno tiene su propio robots.txt.

¿Cómo lee un bot tu robots.txt?

Las reglas están en la norma RFC 9309 (IETF, septiembre de 2022). Conviene conocer cuatro:

1. No es una cerradura. La norma lo dice así: «These rules are not a form of access authorization». Es una petición.
2. Cada bot busca su grupo por nombre. Solo si no hay un grupo con su nombre obedece el grupo User-agent: *. Si creas un grupo para GPTBot, las reglas de * dejan de aplicarse a GPTBot.
3. Gana la regla más específica. Si un mismo grupo tiene Disallow: / y Allow: /blog/, el blog queda abierto.
4. Un error de servidor lo cierra todo. Con un 5xx, el bot debe suponer que todo está prohibido; con un 404, puede rastrearlo todo.

Una advertencia de Google: el robots.txt no saca una página del buscador. Una URL bloqueada puede seguir saliendo si otras páginas la enlazan. Para que no se indexe, usa noindex, y no la bloquees a la vez, porque el bot tiene que entrar para leer esa etiqueta.

¿Qué robots.txt le conviene a tu empresa?

Cambia tudominio.es por tu dominio. A la mayoría de empresas les sirve la primera.

1. Visibilidad máxima. Todos los bots pueden leer todo.

User-agent: *
Allow: /

Sitemap: https://tudominio.es/sitemap.xml

2. Búsqueda sí, entrenamiento no. Apareces en las búsquedas con IA y pides que tu contenido no se use para entrenar.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://tudominio.es/sitemap.xml

Hemos dejado fuera a Meta-ExternalAgent a propósito: Meta dice que también lo usa para indexar contenido, así que bloquearlo puede ir más allá del entrenamiento.

3. El error que hay que evitar. Estas dos líneas bloquean a todos los bots, incluidos OAI-SearchBot y Googlebot. Pueden llegar a producción desde una web de pruebas sin que nadie lo note.

User-agent: *
Disallow: /

¿Conviene bloquear GPTBot?

Es una decisión sobre el entrenamiento, no sobre tu visibilidad en la búsqueda de ChatGPT, que depende de OAI-SearchBot. Si tu prioridad es que te recomienden, nosotros lo dejaríamos abierto.

Si tu contenido es tu producto (un medio, un curso, una base de datos), bloquearlo tiene sentido. Lo que nadie sabe es si salir del entrenamiento cambia lo que los modelos futuros «saben» de tu empresa: no hay datos públicos que lo midan.

¿Qué más puede bloquear a un bot, aparte del robots.txt?

Un robots.txt perfecto no sirve si otra capa frena al bot antes.

• CDN y cortafuegos. Cloudflare cambió sus ajustes el 15 de septiembre de 2026. Desde entonces, elegir «Block» en la categoría de entrenamiento frena también a Googlebot, Bingbot y Applebot, «search included», porque son rastreadores mixtos. Para frenar solo el entrenamiento, Cloudflare propone la opción «Disallow AI Training».
• Bots falsos. Cualquiera puede llamarse «GPTBot». OpenAI y Perplexity publican las direcciones IP de sus rastreadores para que tu proveedor compruebe que son reales.
• JavaScript. En un análisis de Vercel y MERJ de diciembre de 2024, ninguno de los grandes rastreadores de IA ejecutaba JavaScript, salvo Gemini (con la infraestructura de Googlebot) y Applebot. Es un dato antiguo: lo prudente es que precios, servicios y contacto estén en el HTML que entrega el servidor.

¿Cómo compruebas si tu web bloquea a la IA?

1. Abre tudominio.es/robots.txt y comprueba que carga sin error y dice lo que crees.
2. Busca grupos con Disallow: / y mira a qué bots afectan.
3. Revisa en tu CDN o cortafuegos los ajustes para bots de IA.
4. Si puedes ver los registros del servidor, busca los nombres de los bots y sus códigos de respuesta. Un 403 repetido a OAI-SearchBot apunta al cortafuegos o a la CDN.

Preguntas frecuentes

¿Y ahora qué?

Si ves bloqueos que no entiendes, o quieres saber cómo te describen los asistentes, podemos ayudarte. El diagnóstico gratuito incluye la revisión técnica del acceso de los bots de IA, y en servicios explicamos cómo corregimos lo que encontramos y lo mantenemos al día cada mes. Nadie puede garantizar una posición en una respuesta de IA; lo que sí está en tu mano es que ningún bot se quede en la puerta.