Rastreadores de IA en robots.txt: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Google-Extended

Tres tipos de bots de IA

1. Entrenamiento. Descargan contenido que puede usarse para entrenar modelos futuros. Bloquearlos no te quita de las respuestas que hoy se apoyan en búsquedas: solo evita que tu contenido entre en los próximos entrenamientos.
2. Búsqueda. Indexan la web para que el asistente pueda encontrarte y citarte con enlace cuando busca en tiempo real. Bloquearlos es desaparecer de esas respuestas.
3. A petición del usuario. Leen una página concreta cuando alguien se lo pide al asistente, por ejemplo al pegar un enlace. Como actúan en nombre de una persona, varios de ellos no aplican robots.txt.

Quién es quién

Tres matices que cambian las cosas:

• OpenAI: bloquear OAI-SearchBot no te hace invisible del todo. Si OpenAI conoce tu URL por un proveedor de búsqueda externo o por enlaces de otras páginas, puede mostrar el enlace y el título. Para evitarlo hay que usar noindex y dejar que el bot rastree la página para verlo.
• Anthropic: a diferencia de OpenAI, Perplexity o Google, dice que todos sus bots respetan robots.txt, incluido el que actúa a petición del usuario.
• Microsoft no tiene un token de IA propio: Bing y Copilot rastrean con bingbot. El control se hace con metaetiquetas: con NOARCHIVE la página no se usa en las respuestas de Copilot ni para entrenar modelos, y con NOCACHE solo se usan la URL, el título y el fragmento. En los dos casos la página sigue saliendo en Bing.

Apple y Meta tienen además otros agentes: Applebot es el que rastrea para la búsqueda de Apple, y Meta usa Meta-WebIndexer para las búsquedas de Meta AI y Meta-ExternalFetcher para las lecturas a petición del usuario.

Google va aparte: la IA no se controla desde robots.txt

Las vistas creadas con IA y el modo IA de Google usan Googlebot, el mismo rastreador que la búsqueda normal. No puedes bloquearlas en robots.txt sin salir de Google, y Google-Extended nunca fue ese interruptor: controla el entrenamiento de Gemini, no la Búsqueda.

Lo que sí existe desde el 31 de agosto de 2026 es un control en Search Console (Ajustes, "IA generativa en la Búsqueda") para excluir tu sitio de las vistas creadas con IA, el modo IA y las funciones de IA de Discover. Por defecto estás incluido. Excluirte no afecta al posicionamiento en el resto de la Búsqueda ni al entrenamiento de modelos. Las etiquetas nosnippet, data-nosnippet y max-snippet también limitan lo que Google muestra de tus páginas, dentro y fuera de sus funciones de IA.

Qué recomendamos

Para una empresa que quiere que la encuentren, permite siempre los bots de búsqueda y los de usuario. Si los bloqueas, desapareces de las respuestas de los asistentes, que es justo donde cada vez más clientes preguntan.

Los de entrenamiento son una decisión de negocio. Si tu contenido es tu producto (un medio, cursos, informes de pago), tiene sentido bloquearlos. Si tu web existe para que te conozcan y te contraten, estar en la memoria de los próximos modelos juega a tu favor.

Si no bloqueas nada, no necesitas nombrar a ningún bot:

User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Si quieres estar en las búsquedas de IA pero no en los entrenamientos:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Dos detalles técnicos. Un bot obedece solo al grupo más específico que lo nombra, así que si creas un grupo para GPTBot, ese bot ignora lo que pongas en User-agent: *. Y los cambios no son inmediatos: OpenAI y Perplexity hablan de unas 24 horas para aplicarlos.

Revisa también tu CDN y tu cortafuegos

robots.txt es una petición, no una barrera, y no es la única puerta: tu CDN o tu cortafuegos pueden estar rechazando a los bots antes de que lleguen a leerlo. El caso más común es Cloudflare:

• Desde julio de 2025, Cloudflare bloquea por defecto a los rastreadores de IA en los dominios nuevos, y pregunta al darlos de alta.
• En septiembre de 2025 añadió a su robots.txt gestionado una línea de señales de contenido que, por defecto, permite la búsqueda y rechaza el entrenamiento.
• Desde el 15 de septiembre de 2026, sus controles de IA se dividen en búsqueda, entrenamiento y agentes, y la opción "Block" bloquea también a Googlebot, Bingbot y Applebot. Es decir, te saca también de los buscadores. Para rechazar el entrenamiento sin perder la búsqueda existe la nueva opción "Disallow AI Training".

Si tu web está en Cloudflare, abre AI Crawl Control y comprueba que la búsqueda está permitida.

Cómo saber quién entra de verdad

• Los registros del servidor o del CDN. Filtra por agente de usuario (GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot…) y mira qué código de respuesta reciben. Un 403 repetido significa que algo los está frenando.
• Desconfía de los impostores. Cualquiera puede decir que es GPTBot. OpenAI, Perplexity y Common Crawl publican los rangos de IP de sus rastreadores para que puedas comprobarlo.
• Una auditoría. Nuestra auditoría GEO gratuita lee tu robots.txt, te dice qué rastreadores de IA dejas pasar y cuáles no, y comprueba qué ven sin ejecutar JavaScript.

Fuentes

• OpenAI: rastreadores de OpenAI y preguntas frecuentes para editores
• Anthropic: rastreo de Anthropic y cómo bloquearlo
• Perplexity: rastreadores de Perplexity
• Google: rastreadores comunes, incluido Google-Extended y funciones de IA y tu sitio web
• Ayuda de Search Console: control de la IA generativa de la Búsqueda
• Bing: metaetiquetas robots que admite Bing
• Apple: Applebot
• Meta: rastreadores web de Meta
• Common Crawl: CCBot
• Cloudflare: control del uso de contenido para entrenar IA (julio de 2025), Content Signals Policy (septiembre de 2025) y rastreadores de uso mixto (septiembre de 2026)