Puntos clave
- OAI-SearchBot, Claude-SearchBot, Claude-User y PerplexityBot deciden si apareces en las respuestas de ChatGPT, Claude y Perplexity. GPTBot y ClaudeBot son los rastreadores de entrenamiento.
- Según el RFC 9309, un rastreador con grupo propio en robots.txt ignora el grupo
*. UnAllow: /para un bot anula para él losDisallowgenerales. - Google pide dos cosas para AI Overviews y el modo IA: la página indexada y con fragmento, y la web incluida en el control «Search generative AI» de Search Console.
- Google dice que no hacen falta llms.txt, marcado especial ni trocear el contenido. Lo que rompe la visibilidad suele estar en el CDN, en una plantilla o en un ajuste que alguien tocó.
¿Cómo saber si tienes la web preparada para buscadores de IA?
Tienes la web preparada para buscadores de IA si pasa tres comprobaciones. Los rastreadores de búsqueda de ChatGPT, Claude y Perplexity pueden entrar. La página cumple los dos requisitos de Google para AI Overviews y el modo IA. Y robots.txt dice lo que quieres sobre el entrenamiento, una decisión que cada empresa documenta por separado.
Pasarlas significa que nada técnico te deja fuera. Que una IA te cite depende además de lo que publicas y de quién habla de ti, y ninguna lista lo garantiza. Lo que sí consiguen estas comprobaciones es descartar los fallos que te sacan de los candidatos sin que nadie se entere.
Las fuentes enlazadas son la documentación oficial de OpenAI, Anthropic, Perplexity, Google, Cloudflare y la IETF, más un estudio de Vercel que se indica como tal. Todas se consultaron el 3 de noviembre de 2026. Varias no muestran fecha de actualización, así que lo que sigue vale a noviembre de 2026.
La tabla reúne las cinco revisiones, con dónde se mira cada una y qué señal debería preocuparte.
| Comprobación | Dónde se mira | Buena señal | Señal de alarma | Qué hacer |
|---|---|---|---|---|
| Rastreadores de búsqueda | /robots.txt y registros del servidor | OAI-SearchBot, Claude-SearchBot, Claude-User y PerplexityBot permitidos | Un Disallow: / en su grupo o respuestas 403 en los registros | Corregir robots.txt y revisar el CDN |
| CDN y alojamiento | Panel del CDN o del hosting | Ninguna regla contra rastreadores de IA que no hayas decidido tú | robots.txt gestionado activo o bloqueo de bots de IA | Desactivar la regla o dejar pasar a los bots de búsqueda |
| Requisitos de Google | Inspección de URL y Ajustes de Search Console | Página indexada, sin nosnippet, control en «Incluir» | noindex, nosnippet, max-snippet:0 o control en «Excluir» | Quitar la directiva o cambiar el ajuste |
| Entrenamiento | /robots.txt | Una decisión tomada para GPTBot, ClaudeBot y Google-Extended | Líneas copiadas de una plantilla sin saber qué hacen | Decidir proveedor por proveedor y anotar la fecha |
| Texto en el HTML | «Ver código fuente» en el navegador | El texto principal aparece en el código | La página llega casi vacía y se rellena con JavaScript | Renderizar en el servidor o prerrenderizar |
¿Pueden entrar los rastreadores de búsqueda de ChatGPT, Claude y Perplexity?
Pueden entrar si no los frena ninguna de estas tres capas, que son robots.txt, el CDN o cortafuegos y la respuesta del servidor. Cada empresa tiene un rastreador para su buscador y otro que entra cuando un usuario pregunta. El primero decide si te muestran en su búsqueda, y el segundo, si pueden leer tu página cuando alguien la pide. Los de entrenamiento van aparte y se tratan más abajo.
Qué agente decide cada cosa
La documentación de bots de OpenAI separa tres agentes. OAI-SearchBot muestra webs en la búsqueda de ChatGPT, y las que lo excluyen no salen en esas respuestas. GPTBot rastrea para entrenar los modelos. ChatGPT-User entra cuando un usuario pide algo, y OpenAI avisa de que con él las reglas de robots.txt pueden no aplicarse.
Anthropic y Perplexity siguen el mismo esquema, según el centro de ayuda de Anthropic sobre sus rastreadores (7 de abril de 2026) y la guía de bots de Perplexity.
| Agente | Empresa | Para qué entra | Si lo bloqueas |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Mostrar webs en la búsqueda de ChatGPT | No sales en sus respuestas de búsqueda, aunque puedes seguir apareciendo como enlace de navegación |
| ChatGPT-User | OpenAI | Visitar una página cuando un usuario lo pide | No decide la búsqueda, y robots.txt puede no aplicarse |
| Claude-SearchBot | Anthropic | Mejorar la calidad de la búsqueda de Claude | Tu web no se indexa para esa búsqueda |
| Claude-User | Anthropic | Traer una página cuando alguien pregunta a Claude | Claude no puede leerla y baja tu visibilidad en lo que busca el usuario |
| PerplexityBot | Perplexity | Mostrar y enlazar webs en sus resultados, sin entrenar modelos | Perplexity deja de poder mostrarte en sus resultados |
| Perplexity-User | Perplexity | Entrar cuando pregunta un usuario | En general no respeta robots.txt |
OpenAI añade dos detalles prácticos. Cada bot se configura por separado, y un cambio en robots.txt puede tardar unas 24 horas en reflejarse en su búsqueda. Anthropic, por su parte, pide repetir el bloqueo en cada subdominio.
La regla del grupo más específico
El fallo que más se repite está en cómo se leen los grupos. El RFC 9309 es el estándar de robots.txt, publicado por la IETF en septiembre de 2022. Según su texto, un rastreador obedece el grupo * solo si ningún otro grupo le nombra. La especificación de robots.txt de Google lo aplica igual, con el grupo más específico por encima de los demás.
User-agent: *
Disallow: /privado/
User-agent: OAI-SearchBot
Allow: /Con este archivo, OAI-SearchBot puede entrar también en /privado/, porque su grupo propio no repite la prohibición. Si quieres que un bot nombrado respete una carpeta cerrada, su grupo tiene que llevar también la línea Disallow. Cuando varios bots comparten reglas, el estándar admite varias líneas User-agent seguidas encima de ellas.
El CDN y el alojamiento
Un robots.txt correcto no basta si el servidor no deja pasar al bot. Google lo dice en su página «AI features and your website», donde pide que el rastreo esté permitido en robots.txt «y en cualquier CDN o infraestructura de hosting». No está entre sus requisitos técnicos, sino en su lista de buenas prácticas, pero lo escribe la propia Google.
En Cloudflare hay dos ajustes que conviene mirar. Su robots.txt gestionado, si se activa, añade a tu archivo un Disallow: / para GPTBot, ClaudeBot, Google-Extended y otros cinco agentes. Son líneas que nadie de tu equipo ha escrito. OAI-SearchBot no está en esa lista, pero bloquear un rastreador desde AI Crawl Control crea una regla en el cortafuegos que puede responder con un 403.
El tercer fallo cuesta más verlo. Una protección anti-bots del alojamiento puede responder con una página de desafío en JavaScript y un código 200. El rastreador que no ejecuta JavaScript se lleva esa página en lugar de la tuya, y en los registros todo parece correcto.
Cómo comprobarlo
- Abre
tudominio.com/robots.txty busca los grupos de OAI-SearchBot, Claude-SearchBot, Claude-User y PerplexityBot. Si no aparecen, les toca el grupo*. - Revisa en el panel del CDN si hay un robots.txt gestionado o un bloqueo de rastreadores de IA activo.
- Pasa la página por el analizador de robots.txt y del HTML sin JavaScript.
- Busca esos agentes en los registros del servidor, si tienes acceso, y mira qué código reciben. Contrasta las IP con las listas que publican OpenAI, Anthropic y Perplexity.
Conviene saber qué mira el analizador y qué se queda fuera. Comprueba si robots.txt cierra del todo el paso a siete agentes, que son GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended y CCBot. No incluye Claude-SearchBot ni Claude-User, no informa del código HTTP de la página y descarga con su propio agente. Por eso no ve lo que tu cortafuegos sirve a cada bot, y un bloqueo parcial o un grupo compartido entre varios agentes hay que leerlo a mano.
¿Cumple tu web los dos requisitos de Google para AI Overviews y el modo IA?
Google pide dos cosas. La página tiene que estar indexada y poder mostrarse en la Búsqueda con un fragmento. Y la web tiene que estar incluida en el control «Search generative AI» de Search Console. El primero sale de su página sobre funciones de IA. El segundo lo añadió la guía de Google para las funciones de IA generativa, que John Mueller anunció el 15 de mayo de 2026.
Cumplirlos no asegura nada, y Google advierte de que no garantiza ni la indexación ni que una página se muestre. Lo que hacen los dos requisitos es abrir la puerta. Casi todo lo que la cierra está en tu propia web.
Indexada y con fragmento
Abre la Inspección de URL de Search Console con tu página principal y confirma que está indexada. Después busca noindex, nosnippet y max-snippet en la metaetiqueta robots y en la cabecera X-Robots-Tag del servidor. Google las documenta como la forma de limitar lo que sus funciones de IA toman de tu página, y por eso te dejan fuera si alguien las puso sin querer.
El caso típico es una plantilla heredada, con un nosnippet que se puso en un entorno de pruebas y viajó a producción. El analizador revisa el noindex de la metaetiqueta, pero no detecta nosnippet, max-snippet ni la cabecera X-Robots-Tag. Esa parte se mira a mano.
El control «Search generative AI»
Está en Search Console, dentro de Ajustes. Según la ayuda de Search Console sobre ese control, tiene tres opciones, Incluir, que es la que viene de serie, Excluir y Heredar de la propiedad superior. Desde el 31 de agosto de 2026 está disponible en todas las webs.
Excluir quita tus enlaces y tu contenido de AI Overviews, del modo IA y de las funciones de IA generativa de Discover, y tarda unos días en aplicarse. Google aclara que no es una señal de ranking ni afecta al resto de la Búsqueda. Basta con que alguien de la empresa lo cambiara una vez para que desaparezcas de esas respuestas, y nada en la web lo delata.
La prueba de que apareces
Google anunció el 3 de junio de 2026 un informe de rendimiento de IA generativa en Search Console, que desde el 31 de agosto llega a todas las webs. Mide solo impresiones en esas funciones de la Búsqueda y de Discover, por página, país y fecha. Si una página tiene impresiones ahí, cumple los dos requisitos.
¿Dice tu robots.txt lo que quieres sobre el entrenamiento?
Entrenar un modelo y citarte en una respuesta son usos distintos, y robots.txt los separa con agentes distintos. GPTBot y ClaudeBot son los de entrenamiento de OpenAI y Anthropic. Bloquearlos no te saca de la búsqueda de ChatGPT ni de la de Claude, que dependen de OAI-SearchBot y Claude-SearchBot. La comprobación consiste en ver si esas líneas responden a una decisión o a una plantilla copiada.
En Google la frontera es menos limpia. Según su documentación de rastreadores comunes, Google-Extended no afecta a la inclusión en la Búsqueda ni es una señal de ranking. Decide también el grounding en Gemini Apps y en la API de Vertex AI, que es el uso de tu web como fuente al responder. Quien lo bloquea para que no entrenen Gemini con su contenido deja de ser fuente en esas respuestas.
Google prevé además leer en 2027 un token común, __usage_ai-training, para pedir que no se entrene con una web. Qué cambia y qué conviene hacer según el tipo de empresa lo contamos en la línea común de robots.txt para no entrenar a la IA.
El texto tiene que estar en el HTML, no solo en JavaScript
El contenido que importa debe llegar en el HTML que envía el servidor. Google procesa JavaScript, pero en su guía básica de SEO con JavaScript sigue recomendando renderizar en el servidor o prerrenderizar, porque no todos los bots pueden ejecutarlo. Ni OpenAI ni Anthropic ni Perplexity dicen en su documentación si sus rastreadores lo hacen.
Un estudio de Vercel con MERJ, publicado el 17 de diciembre de 2024, contó en un mes 569 millones de peticiones de GPTBot y 370 millones de Claude. Con esa muestra, tomada en la red de Vercel, concluyó que ninguno de los grandes rastreadores de IA ejecutaba JavaScript, salvo Gemini y AppleBot. Descargaban los archivos sin ejecutarlos. Es una foto de finales de 2024, y no conviene leerla como una regla permanente.
Para comprobarlo, abre la página en el navegador y usa «Ver código fuente». Si el texto principal está en ese código, también lo recibe un rastreador que no ejecuta JavaScript. El analizador cuenta las palabras visibles sin ejecutarlo, así que un recuento bajo en una página que en pantalla se ve llena indica que el texto llega por JavaScript. El arreglo está entonces en el desarrollo web, con renderizado en el servidor o páginas estáticas.
Lo que no hace falta comprobar
Google es explícito en esto. Su guía de mayo de 2026 dice que Google Search ignora llms.txt y que no hacen falta archivos legibles por máquina, archivos de texto para IA ni Markdown. Tampoco pide trocear el contenido, escribir de una forma especial ni añadir datos estructurados. Desde la perspectiva de su buscador, el AEO y el GEO son «still SEO».
Las preguntas frecuentes y el marcado siguen teniendo sentido. Ayudan a que una página se entienda y a que el lector encuentre la respuesta, y por eso los recomendamos. Lo que no se puede afirmar es que Google los exija o que te citen por tenerlos. Para decidir qué marcado merece la pena, la guía de datos estructurados para buscadores de IA ordena las prioridades.
Esa lista vale para Google. OpenAI, Anthropic y Perplexity no publican nada equivalente sobre cómo eligen sus fuentes, así que fuera de Google lo prudente es desconfiar de cualquier receta. Sí está escrito lo que no se debe hacer, y lo resumimos al contar qué considera Anthropic manipular las fuentes de la IA.
Por dónde empezar para tener la web preparada para buscadores de IA
Empieza por lo que se ve desde fuera. Pasa tu página principal y una de servicio por el analizador de webs de The Baller Company, que no pide correo ni guarda la URL. Corrige lo que salga de robots.txt y del HTML. Después entra en Search Console, confirma la indexación y comprueba que el control «Search generative AI» sigue en «Incluir». Deja para el final el panel del CDN.
Si prefieres que lo revisemos y lo arreglemos nosotros, incluida la parte de contenido, ese es el trabajo de SEO para IA. Cómo eligen sus fuentes los asistentes lo explicamos en la guía de SEO para buscadores de IA.
Preguntas frecuentes
¿Si bloqueo GPTBot dejo de salir en ChatGPT?
No, según la documentación de bots de OpenAI. GPTBot rastrea para entrenar los modelos, y OAI-SearchBot es el que decide si apareces en la búsqueda de ChatGPT. Se configuran por separado en robots.txt, así que bloquear el primero y permitir el segundo es una combinación válida.
¿Hace falta un llms.txt para salir en las respuestas de IA?
Para Google, no. Su guía de mayo de 2026 dice que Google Search ignora llms.txt y que no hacen falta archivos especiales para la IA. Si ya lo tienes, no estorba, pero no forma parte de lo que Google pide para AI Overviews ni para el modo IA.
¿Leen las IA el contenido que se carga con JavaScript?
Google lo procesa siempre que no esté bloqueado. Los demás no lo documentan. El estudio de Vercel con MERJ de diciembre de 2024 concluyó que GPTBot, ClaudeBot y PerplexityBot no ejecutaban JavaScript. Lo prudente es que el texto principal llegue ya en el HTML.
¿Cómo veo en Search Console si salgo en AI Overviews?
Con el informe de rendimiento de IA generativa, disponible en todas las webs desde el 31 de agosto de 2026. Mide solo impresiones en AI Overviews, el modo IA y Discover, por página, país y fecha. Si una página tiene impresiones ahí, cumple los requisitos de Google.
¿Tener la web preparada garantiza que me citen?
No. Las comprobaciones quitan los obstáculos técnicos, y Google advierte de que no garantiza ni la indexación ni que una página se muestre. Que te elijan como fuente depende después del contenido, de la reputación de la marca y de la pregunta que haga cada usuario.
