{"id":582,"date":"2026-11-20T08:27:35","date_gmt":"2026-11-19T21:27:35","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/lista-crawlers-ia\/"},"modified":"2026-11-20T08:27:38","modified_gmt":"2026-11-19T21:27:38","slug":"lista-crawlers-ia","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/es\/ai-crawlers\/crawler-list\/lista-crawlers-ia\/","title":{"rendered":"Lista de crawlers de IA 2026: cada bot de IA, su user agent y qu\u00e9 hace"},"content":{"rendered":"<p>La mayor\u00eda de las \u00ablistas de crawlers de IA\u00bb que encontrar\u00e1s est\u00e1n copiadas unas de otras, y muchas est\u00e1n desactualizadas. Siguen citando <code>Claude-Web<\/code> como el crawler de Anthropic, se inventan un bot \u00abGooglebot-Extended\u00bb o te dicen que Google-Extended rastrea tus p\u00e1ginas. No lo hace. Google-Extended no tiene user agent propio; es solo un token de robots.txt.<\/p>\n<p>Esta lista es distinta en dos aspectos. Cada user agent est\u00e1 contrastado con la documentaci\u00f3n del propio operador, a 20 de noviembre de 2026. Y medimos c\u00f3mo tratan a estos bots los sitios reales: descargamos el robots.txt de 3.000 sitios elegidos al azar del registro de Online Web Directory y contamos qu\u00e9 crawlers de IA nombran y bloquean. Tambi\u00e9n tendr\u00e1s reglas probadas para robots.txt, Nginx y Apache, y un script que comprueba si un visitante \u00abGPTBot\u00bb viene de verdad de OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>\u00bfQu\u00e9 es una lista de crawlers de IA?<\/strong> Una lista de crawlers de IA es una referencia de los bots que usan las empresas de IA para descargar p\u00e1ginas web, con el token de robots.txt de cada bot, su cadena de user agent y su funci\u00f3n: recopilar datos de entrenamiento, indexar p\u00e1ginas para la b\u00fasqueda con IA o descargar una p\u00e1gina en directo porque un usuario lo pidi\u00f3. Sirve para escribir reglas de robots.txt, leer registros del servidor y definir pol\u00edticas de firewall.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">Los crawlers de IA de un vistazo<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Pregunta<\/th>\n<th>Respuesta corta<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u00bfCu\u00e1ntos crawlers de IA importan?<\/td>\n<td>Unos 20 user agents documentados de 9 operadores (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), adem\u00e1s de DuckDuckGo y una larga cola de bots menores.<\/td>\n<\/tr>\n<tr>\n<td>Tipos principales<\/td>\n<td>Crawlers de entrenamiento, crawlers de b\u00fasqueda con IA y agentes o fetchers activados por el usuario. Google-Extended y Applebot-Extended son tokens de control, no crawlers.<\/td>\n<\/tr>\n<tr>\n<td>\u00bfRespetan robots.txt?<\/td>\n<td>Los crawlers de entrenamiento y de b\u00fasqueda documentados dicen que s\u00ed. Los fetchers activados por el usuario (ChatGPT-User, Perplexity-User, los fetchers activados por el usuario de Google, Meta-ExternalFetcher) dicen que robots.txt puede no aplicarse.<\/td>\n<\/tr>\n<tr>\n<td>\u00bfPuede robots.txt devolver un 403?<\/td>\n<td>No. robots.txt es una petici\u00f3n, no un candado. Un 403 viene de tu servidor, tu CDN o tu firewall.<\/td>\n<\/tr>\n<tr>\n<td>\u00bfCon qu\u00e9 frecuencia los bloquean los sitios?<\/td>\n<td>En nuestra muestra del 20 nov. 2026, el 16,9 % de los archivos robots.txt bloquea GPTBot por completo, pero solo el 2,8 % bloquea OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>\u00bfC\u00f3mo verifico un bot?<\/td>\n<td>Compara la IP de la petici\u00f3n con la lista de IP publicada por el operador (por ejemplo <code>https:\/\/openai.com\/gptbot.json<\/code>). Falsificar un user agent es trivial.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">La lista de crawlers de IA (verificada en noviembre de 2026)<\/h2>\n<p>La tabla muestra cada token de robots.txt, qui\u00e9n lo gestiona, qu\u00e9 hace seg\u00fan el operador y si el operador dice que respeta robots.txt. \u00abTipo\u00bb usa tres categor\u00edas: <strong>entrenamiento<\/strong> (recopila contenido que puede entrenar modelos), <strong>b\u00fasqueda<\/strong> (indexa p\u00e1ginas para que un producto de IA pueda citarlas despu\u00e9s) y <strong>usuario<\/strong> (descarga una p\u00e1gina en tiempo real porque una persona lo pidi\u00f3). Hemos dejado fuera los bots cuyo operador no publica documentaci\u00f3n que pudi\u00e9ramos verificar.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token de robots.txt<\/th>\n<th>Operador<\/th>\n<th>Tipo<\/th>\n<th>Qu\u00e9 hace<\/th>\n<th>\u00bfRespeta robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Entrenamiento<\/td>\n<td>Rastrea contenido que puede usarse para entrenar los modelos fundacionales de OpenAI.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Indexa p\u00e1ginas para que puedan aparecer en los resultados de b\u00fasqueda de ChatGPT.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Usuario<\/td>\n<td>Visita una p\u00e1gina cuando un usuario de ChatGPT o de un Custom GPT hace una pregunta.<\/td>\n<td>\u00abPuede no aplicarse\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Revisi\u00f3n de anuncios<\/td>\n<td>Revisa las p\u00e1ginas de destino enviadas como anuncios de ChatGPT; no se usa para entrenar.<\/td>\n<td>Solo visita p\u00e1ginas enviadas<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Entrenamiento<\/td>\n<td>Recopila contenido web que podr\u00eda contribuir al entrenamiento de los modelos Claude.<\/td>\n<td>S\u00ed, y respeta <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Indexa contenido para mejorar los resultados de b\u00fasqueda de Claude.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Usuario<\/td>\n<td>Descarga p\u00e1ginas cuando un usuario de Claude hace una pregunta.<\/td>\n<td>S\u00ed, seg\u00fan Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Token de control<\/td>\n<td>Decide si el contenido que rastrea Google puede entrenar Gemini o fundamentar sus respuestas. No es un crawler aparte.<\/td>\n<td>Solo token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Solicitado por el propietario<\/td>\n<td>Rastrea sitios cuyos propietarios crean Vertex AI Agents; no afecta a la B\u00fasqueda de Google.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Usuario<\/td>\n<td>Agentes en la infraestructura de Google que navegan y act\u00faan a petici\u00f3n de un usuario.<\/td>\n<td>Activado por el usuario: en general, no<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Indexa p\u00e1ginas para los resultados de b\u00fasqueda de Perplexity; no se usa para entrenar.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Usuario<\/td>\n<td>Descarga una p\u00e1gina durante la sesi\u00f3n de Perplexity de un usuario.<\/td>\n<td>\u00abEn general lo ignora\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Token de control<\/td>\n<td>Decide si las p\u00e1ginas que rastre\u00f3 Applebot pueden entrenar los modelos fundacionales de Apple. No rastrea.<\/td>\n<td>Solo token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Entrenamiento<\/td>\n<td>Rastrea para usos como entrenar modelos de IA o indexar contenido.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Usuario<\/td>\n<td>Descarga enlaces concretos a petici\u00f3n de un usuario, incluidas tareas de agentes.<\/td>\n<td>\u00abPuede salt\u00e1rselo\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Entrenamiento<\/td>\n<td>Mejora los productos y servicios de Amazon; puede usarse para entrenar modelos de IA de Amazon.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Indexa p\u00e1ginas para experiencias de b\u00fasqueda como Alexa; no se usa para entrenar.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Usuario<\/td>\n<td>Descarga informaci\u00f3n en directo para responder a un usuario, por ejemplo una consulta a Alexa.<\/td>\n<td>\u00abPuede no seguir todas\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Datos de entrenamiento<\/td>\n<td>Construye el archivo web abierto de Common Crawl, una fuente habitual de datos de entrenamiento de IA.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Entrenamiento<\/td>\n<td>Rastrea contenido para crear conjuntos de datos con los que entrenar los modelos de Mistral.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Indexa contenido para la b\u00fasqueda de Mistral; no se usa para entrenar.<\/td>\n<td>S\u00ed<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Usuario<\/td>\n<td>Visita una p\u00e1gina cuando un usuario hace una pregunta a Vibe, el asistente de Mistral.<\/td>\n<td>S\u00ed, para peticiones de usuarios<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>B\u00fasqueda<\/td>\n<td>Rastrea p\u00e1ginas en tiempo real para las respuestas asistidas por IA de DuckDuckGo.<\/td>\n<td>S\u00ed (surte efecto a las 72 horas)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Las fuentes de cada fila est\u00e1n enlazadas al final del art\u00edculo. Las citas de la \u00faltima columna salen directamente de la documentaci\u00f3n del operador. Bytespider (ByteDance) falta a prop\u00f3sito: no encontramos ninguna p\u00e1gina de ByteDance que lo documente, aunque el 18,5 % de los archivos robots.txt de nuestra muestra lo nombra. Por la misma raz\u00f3n no describimos la larga cola de tokens como <code>cohere-ai<\/code>, <code>Diffbot<\/code> u <code>omgili<\/code>; en la secci\u00f3n de datos ver\u00e1s con qu\u00e9 frecuencia los nombran los sitios.<\/p>\n<h3>Cadenas completas de user agent que ver\u00e1s en los registros<\/h3>\n<p>robots.txt trabaja con el token corto, pero tus registros de acceso muestran la cadena completa. Estos son los ejemplos que publican los operadores. Los n\u00fameros de versi\u00f3n cambian, as\u00ed que filtra por el token, no por la cadena entera.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI tambi\u00e9n indica que GPTBot y OAI-SearchBot pueden a\u00f1adir una marca <code>robots.txt<\/code> al user agent cuando descargan tu robots.txt, para que distingas esas peticiones en registros que no guardan rutas.<\/p>\n<h2 id=\"types\">Tres tipos de crawler de IA y por qu\u00e9 importa la diferencia<\/h2>\n<p>Bloquear los \u00abbots de IA\u00bb como un solo grupo es el error m\u00e1s com\u00fan que vemos. Los tres tipos tienen costes y beneficios distintos, y los operadores tratan robots.txt de forma diferente en cada caso.<\/p>\n<h3>Crawlers de entrenamiento<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot y MistralAI-Training recopilan p\u00e1ginas que pueden acabar en datos de entrenamiento de modelos. Bloquearlos no te saca de los resultados de b\u00fasqueda con IA de la misma empresa: OpenAI dice que cada uno de sus ajustes de robots.txt es independiente, as\u00ed que puedes bloquear GPTBot y seguir permitiendo OAI-SearchBot. En nuestra muestra, los crawlers de entrenamiento son el grupo m\u00e1s bloqueado. El 17,3 % de los archivos robots.txt bloquea CCBot por completo, el 16,9 % GPTBot y el 15,9 % ClaudeBot.<\/p>\n<h3>Crawlers de b\u00fasqueda con IA<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index y DuckAssistBot indexan p\u00e1ginas para que un asistente pueda encontrarlas y citarlas despu\u00e9s. Bloquearlos puede dejarte fuera de esas respuestas. Los propietarios parecen saberlo: solo el 2,8 % de los archivos bloquea OAI-SearchBot por completo y el 5,8 % PerplexityBot, frente al 16,9 % de GPTBot.<\/p>\n<h3>Fetchers y agentes activados por el usuario<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User y Google-Agent act\u00faan para una persona cada vez, como lo har\u00eda un navegador. Varios operadores dicen que robots.txt puede no aplicarse porque una persona pidi\u00f3 la p\u00e1gina. Son tambi\u00e9n los bots que usan los agentes de compras y reservas, as\u00ed que bloquearlos puede ahuyentar a clientes reales. El 5,9 % de los archivos de nuestra muestra bloquea ChatGPT-User por completo.<\/p>\n<h3>Tokens de control que no rastrean<\/h3>\n<p>Google-Extended y Applebot-Extended nunca visitan tu sitio. Google y Apple rastrean como siempre con Googlebot y Applebot, y luego consultan estos tokens para decidir si el contenido puede entrenar sus modelos. Seg\u00fan Google, bloquear Google-Extended no afecta a la inclusi\u00f3n ni al posicionamiento en la B\u00fasqueda de Google. El 14,1 % de los archivos analizados bloquea Google-Extended por completo y el 13,5 % Applebot-Extended. Google tambi\u00e9n ha dicho que prev\u00e9 admitir la se\u00f1al compartida de entrenamiento de IA (<code>user-agent: __usage_ai-training<\/code>) a principios de 2027; lo explicamos en nuestra <a href=\"\/blog\/es\/robots-txt\/training-opt-out\/robots-txt-exclusion-entrenamiento-ia\/\">gu\u00eda sobre la exclusi\u00f3n del entrenamiento de IA en robots.txt<\/a>.<\/p>\n<h3>Tokens antiguos que siguen llenando los robots.txt<\/h3>\n<p>La p\u00e1gina de ayuda actual de Anthropic solo menciona ClaudeBot, Claude-User y Claude-SearchBot. Aun as\u00ed, el 15,6 % de los archivos analizados sigue nombrando <code>anthropic-ai<\/code> y el 13,8 % <code>Claude-Web<\/code>. Las reglas para esos nombres no hacen da\u00f1o, pero si son tus \u00fanicas reglas para Anthropic, puede que no cubran los bots que Anthropic documenta hoy. Comprueba que <code>ClaudeBot<\/code> aparece de forma expl\u00edcita.<\/p>\n<h2 id=\"what-it-looks-like\">C\u00f3mo se ve en la pr\u00e1ctica el acceso de los crawlers de IA<\/h2>\n<p>La documentaci\u00f3n de los operadores es la fuente fiable para los user agents. La p\u00e1gina de OpenAI, por ejemplo, lista cada bot con una cadena de user agent de ejemplo, notas sobre la marca de robots.txt y un enlace a su archivo de IP publicado.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Documentaci\u00f3n de OpenAI sobre OAI-SearchBot con su cadena de user agent de ejemplo, la marca de robots.txt y el archivo de IP publicado\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>La documentaci\u00f3n de OpenAI sobre OAI-SearchBot, capturada el 20 de noviembre de 2026.<\/figcaption><\/figure>\n<p>Lo que un sitio hace de verdad con estos bots es otra cuesti\u00f3n. Pedimos seis p\u00e1ginas de inicio desde nuestro servidor con un user agent de Chrome, el user agent GPTBot de OpenAI y un user agent de ClaudeBot. Nuestro servidor est\u00e1 en una IP de centro de datos, que muchas defensas contra bots miran con recelo, as\u00ed que desde una conexi\u00f3n dom\u00e9stica los resultados pueden variar.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"Resultados de curl para seis sitios solicitados con los user agents Chrome, GPTBot y ClaudeBot el 20 de noviembre de 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Misma URL, tres user agents. Resultados desde una IP de centro de datos, 20 de noviembre de 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Aparecen tres patrones. Reddit sirvi\u00f3 la p\u00e1gina a Chrome, pero devolvi\u00f3 403 a GPTBot y 429 a ClaudeBot: filtrado por user agent en el servidor o la CDN. The New York Times devolvi\u00f3 403 a los tres, lo que sugiere que el bloqueo se basaba en nuestra IP o en la huella de la petici\u00f3n, no en el user agent. Y bbc.com devolvi\u00f3 200 a GPTBot aunque su robots.txt bloquea GPTBot, ClaudeBot, CCBot, PerplexityBot y al menos otros cinco tokens de IA. Es la prueba m\u00e1s clara de que robots.txt pide y no impone. Amazon respondi\u00f3 a los tres con un 202 y el cuerpo vac\u00edo, una p\u00e1gina intermedia de verificaci\u00f3n en lugar de una p\u00e1gina real.<\/p>\n<p>La ficha de cada sitio en Online Web Directory separa estas dos capas: si los agentes pueden llegar al sitio y qu\u00e9 dice su robots.txt.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Ficha de Online Web Directory de bbc.com: abierta a agentes, sin muro antibots, robots.txt restringe algunas rutas\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>La ficha de OWD de bbc.com: abierta a agentes, con un robots.txt que restringe algunas rutas.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">C\u00f3mo comprobar qu\u00e9 crawlers de IA pueden llegar a tu sitio<\/h2>\n<h3>1. Lee los grupos de tu robots.txt para tokens de IA<\/h3>\n<p>Empieza por lo que les pides a los crawlers. Este comando muestra cada grupo que nombra un token de IA habitual, con la l\u00ednea siguiente:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Salida real para bbc.com el 20 de noviembre de 2026 a las 08:09 AEDT (recortada a cuatro de los nueve grupos):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Recuerda que un crawler solo obedece el grupo m\u00e1s espec\u00edfico que coincide con su token. Si nombras <code>GPTBot<\/code> en su propio grupo, ignorar\u00e1 por completo tus reglas de <code>User-agent: *<\/code>, as\u00ed que repite las reglas comunes dentro del grupo de GPTBot.<\/p>\n<h3>2. Prueba c\u00f3mo responde tu servidor a los user agents de IA<\/h3>\n<p>robots.txt puede decir \u00abno\u00bb mientras tu servidor sigue diciendo \u00abs\u00ed\u00bb, o al rev\u00e9s. Pide la misma p\u00e1gina con distintos user agents y compara los c\u00f3digos de estado:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Sustituye la URL por la tuya. Un 403 o 429 solo para GPTBot indica filtrado por user agent. Un 403 para ambos suele indicar reputaci\u00f3n de IP o un desaf\u00edo antibots. Hazlo desde una conexi\u00f3n dom\u00e9stica y desde un servidor: los crawlers reales vienen de IP de centros de datos, as\u00ed que el resultado del servidor se parece m\u00e1s a lo que ven ellos.<\/p>\n<h3>3. Encuentra crawlers de IA en tus registros de acceso<\/h3>\n<p>Cuenta las visitas por bot y despu\u00e9s revisa qu\u00e9 c\u00f3digos de estado recibi\u00f3 cada uno. Ejecutamos estos comandos sobre el registro de acceso de un servidor Nginx de prueba el 20 de noviembre de 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>El segundo comando funciona con el formato de registro est\u00e1ndar \u00abcombined\u00bb, en el que el c\u00f3digo de estado va despu\u00e9s de la l\u00ednea de petici\u00f3n entre comillas. Un 200 de GPTBot en <code>\/robots.txt<\/code> y un 403 en todo lo dem\u00e1s es justo lo que buscas cuando bloqueas los crawlers de entrenamiento en el servidor.<\/p>\n<h3>4. Verifica que un visitante \u00abGPTBot\u00bb es realmente OpenAI<\/h3>\n<p>Cualquiera puede enviar un user agent de GPTBot. OpenAI, Perplexity, DuckDuckGo, Mistral y Google publican listas de IP, as\u00ed que comprueba la IP de origen. Este script contrasta una IP con los tres archivos de OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Salida del 20 de noviembre de 2026 a las 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>En el momento de la prueba, el <code>gptbot.json<\/code> de OpenAI ten\u00eda 18 rangos IPv4 con fecha de creaci\u00f3n del 22 de septiembre de 2026. Descarga los archivos cada vez en lugar de copiarlos en tu configuraci\u00f3n.<\/p>\n<h3>5. Busca tu sitio en el registro<\/h3>\n<p>Online Web Directory comprueba c\u00f3mo responden los sitios a los clientes HTTP b\u00e1sicos y qu\u00e9 dice su robots.txt. Busca tu dominio, por ejemplo <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> o <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, o usa la <a href=\"https:\/\/onlinewebdirectory.net\/es\/check\">comprobaci\u00f3n de preparaci\u00f3n<\/a> gratuita. La lista de <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">sitios que bloquean agentes de IA<\/a> muestra qu\u00e9 dominios rechazan a los clientes b\u00e1sicos.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Lista de Online Web Directory de sitios que bloquean agentes de IA: 725 de 55.144 sitios comprobados bloquean clientes HTTP b\u00e1sicos\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>La lista de sitios que bloquean agentes de IA en Online Web Directory, 20 de noviembre de 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">C\u00f3mo controlar los crawlers de IA: seis m\u00e9todos<\/h2>\n<p>Elige seg\u00fan lo que quieras. La mayor\u00eda de los sitios quiere conservar el tr\u00e1fico de la b\u00fasqueda con IA, decidir caso por caso sobre el entrenamiento y no tocar a los agentes activados por el usuario.<\/p>\n<h3>M\u00e9todo 1: Bloquear los crawlers de entrenamiento y mantener la b\u00fasqueda con IA (robots.txt)<\/h3>\n<p>Es la pol\u00edtica m\u00e1s com\u00fan entre los sitios de nuestra muestra. A\u00f1ade esto a <code>\/robots.txt<\/code> en la ra\u00edz de cada host que sirvas:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Probamos este archivo con Protego, un analizador conforme a RFC 9309. Resultados para la ruta <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Apilar varias l\u00edneas <code>User-agent<\/code> sobre un mismo bloque de reglas es v\u00e1lido seg\u00fan RFC 9309. Ten en cuenta que el grupo de b\u00fasqueda con IA no hereda la regla <code>\/wp-admin\/<\/code> del grupo <code>*<\/code>; a\u00f1\u00e1dela tambi\u00e9n all\u00ed si la necesitas.<\/p>\n<h3>M\u00e9todo 2: Bloquear todos los crawlers de IA documentados (robots.txt)<\/h3>\n<p>Si no quieres ning\u00fan uso por parte de la IA, a\u00f1ade los tokens de b\u00fasqueda y de usuario al grupo de bloqueo: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> y <code>DuckAssistBot<\/code>. Cuenta con desaparecer de las respuestas de IA. Y recuerda que varios fetchers activados por el usuario dicen que robots.txt puede no aplicarse a ellos: es una declaraci\u00f3n de preferencias, no un muro.<\/p>\n<h3>M\u00e9todo 3: Imponer el bloqueo en Nginx<\/h3>\n<p>Para rechazar peticiones de verdad, filtra en el servidor. Esta configuraci\u00f3n devuelve 403 a los crawlers de entrenamiento en todas las rutas salvo robots.txt, para que puedan seguir leyendo tus reglas. El bloque <code>map<\/code> va en el contexto <code>http<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>La probamos con Nginx 1.26.3 el 20 de noviembre de 2026: <code>nginx -t<\/code> pas\u00f3, GPTBot recibi\u00f3 403 en <code>\/<\/code> y 200 en <code>\/robots.txt<\/code>, y Chrome y OAI-SearchBot recibieron 200 en ambas. Un \u00fanico <code>return<\/code> dentro de <code>if<\/code> es uno de los usos que Nginx documenta como seguros.<\/p>\n<h3>M\u00e9todo 4: Imponer el bloqueo en Apache (.htaccess)<\/h3>\n<p>La misma regla para Apache con <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Probado en Apache 2.4.71 con <code>AllowOverride All<\/code>: GPTBot recibi\u00f3 403 en la p\u00e1gina de inicio y 200 en robots.txt; Chrome y OAI-SearchBot recibieron 200. La bandera <code>[F]<\/code> env\u00eda 403 Forbidden.<\/p>\n<h3>M\u00e9todo 5: Usar las pol\u00edticas de crawlers de IA de tu CDN<\/h3>\n<p>Si usas Cloudflare, no necesitas mantener una lista. En Security, Settings, filtra por \u00abBot traffic\u00bb y abre <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare permite fijar acciones distintas para el tr\u00e1fico Search, Agent y Training. Su documentaci\u00f3n dice que los dominios nuevos usan por defecto \u00abAllow (do not block)\u00bb en los tres, y que \u00abDisallow\u00bb para Training solo edita robots.txt salvo que Bot Preference Sync est\u00e9 activado. El panel AI Crawl Control de Cloudflare tambi\u00e9n muestra qu\u00e9 crawlers visitan y si respetan tu robots.txt. De los 62.088 sitios de nuestro registro, 6.966 (11,2 %) mostraron un desaf\u00edo de Cloudflare a nuestro comprobador.<\/p>\n<h3>M\u00e9todo 6: Verificar y luego permitir<\/h3>\n<p>Las reglas por user agent bloquean a los bots honestos y dejan pasar a los deshonestos. Si bloqueas en el edge, combina la regla con una comprobaci\u00f3n de IP (ver el paso 4) y deja pasar a los agentes de b\u00fasqueda y de usuario verificados. Anthropic advierte de que bloquear sus direcciones IP puede no funcionar de forma fiable como exclusi\u00f3n, porque impide que ClaudeBot lea tu robots.txt. Usa robots.txt para la pol\u00edtica y las comprobaciones de IP para detectar impostores.<\/p>\n<h2 id=\"owd-data\">Qu\u00e9 dicen 2.124 archivos robots.txt sobre los crawlers de IA<\/h2>\n<p>El 20 de noviembre de 2026, entre las 08:01 y las 08:03 AEDT, elegimos al azar 3.000 hosts de los 62.088 sitios del <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">conjunto de datos abierto<\/a> de Online Web Directory y descargamos <code>\/robots.txt<\/code> desde nuestro servidor. 2.124 devolvieron un archivo analizable. Un token cuenta como \u00abnombrado\u00bb si tiene su propia l\u00ednea <code>User-agent<\/code>, y como \u00abbloqueado por completo\u00bb si ese grupo tiene <code>Disallow: \/<\/code> sin <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token de robots.txt<\/th>\n<th>Nombrado<\/th>\n<th>Bloqueado por completo<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (antiguo)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (antiguo)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Destacan cuatro hallazgos:<\/p>\n<ul>\n<li><strong>La mayor\u00eda de los sitios no menciona los crawlers de IA.<\/strong> 629 de 2.124 archivos (29,6 %) nombran al menos un token espec\u00edfico de IA. Los que lo hacen suelen nombrar muchos: la mediana es de 12 tokens, y 357 archivos nombran 10 o m\u00e1s, se\u00f1al de listas de bloqueo copiadas.<\/li>\n<li><strong>Se bloquea el entrenamiento, no la b\u00fasqueda.<\/strong> GPTBot se bloquea por completo seis veces m\u00e1s que OAI-SearchBot (16,9 % frente a 2,8 %).<\/li>\n<li><strong>robots.txt y el acceso real no coinciden.<\/strong> De los 358 sitios que bloquean GPTBot por completo en robots.txt, 284 (79 %) estaban \u00ababiertos\u00bb en la comprobaci\u00f3n de acceso propia de OWD: nada en el servidor detuvo a un cliente b\u00e1sico.<\/li>\n<li><strong>Los vetos generales son raros.<\/strong> Solo 13 archivos (0,6 %) bloquean todo para todos los user agents.<\/li>\n<\/ul>\n<p>El registro completo cuenta la misma historia desde el otro lado. Estos son los resultados de acceso de los 62.088 sitios, comprobados por \u00faltima vez entre el 11 de octubre y el 19 de noviembre de 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Qu\u00e9 encontr\u00f3 un cliente HTTP b\u00e1sico<\/th>\n<th>Sitios<\/th>\n<th>Porcentaje<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Abierto<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Desaf\u00edo antibots<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Bloqueado<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Limitado por tasa<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Requiere inicio de sesi\u00f3n<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Muro de pago<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Descarga el conjunto de datos completo (CC BY 4.0) en <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> o consulta el <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">informe de acceso de agentes de IA<\/a>.<\/p>\n<h2 id=\"related-errors\">Errores y respuestas relacionados<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Tu servidor, CDN o firewall rechaz\u00f3 la petici\u00f3n. Nunca lo causa robots.txt, y no es permanente: cambia la regla y la siguiente petici\u00f3n puede funcionar.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Limitaci\u00f3n de tasa. Reddit devolvi\u00f3 este c\u00f3digo a nuestra petici\u00f3n como ClaudeBot. Anthropic admite <code>Crawl-delay<\/code>, una alternativa m\u00e1s suave para ClaudeBot.<\/li>\n<li><strong>202 con el cuerpo vac\u00edo o una p\u00e1gina de desaf\u00edo 503.<\/strong> Suele ser un desaf\u00edo de JavaScript o CAPTCHA. Los crawlers no pueden resolverlos, as\u00ed que para ellos la p\u00e1gina est\u00e1 bloqueada aunque no se env\u00ede un 403.<\/li>\n<li><strong>robots.txt devuelve 4xx.<\/strong> Seg\u00fan RFC 9309, una respuesta de 400 a 499 significa que el archivo \u00abno est\u00e1 disponible\u00bb y los crawlers pueden acceder a todo. En nuestra muestra, 314 de 3.000 sitios (10,5 %) respondieron con 403 a nuestra petici\u00f3n de robots.txt, algo que un crawler conforme interpretar\u00eda como ninguna regla.<\/li>\n<li><strong>robots.txt devuelve 5xx o no responde.<\/strong> RFC 9309 dice que los crawlers deben asumir entonces un bloqueo total, as\u00ed que una ca\u00edda del robots.txt puede bloquear sin avisar a todos los crawlers, Googlebot incluido.<\/li>\n<li><strong>robots.txt de m\u00e1s de 500 KiB.<\/strong> RFC 9309 solo obliga a los crawlers a procesar los primeros 500 KiB, as\u00ed que las reglas posteriores pueden ignorarse.<\/li>\n<\/ul>\n<p>Si publicas un archivo llms.txt para agentes de IA, aseg\u00farate de que los bots que permites pueden descargarlo. Nuestra <a href=\"\/blog\/es\/llms-txt\/basics\/que-es-llms-txt\/\">gu\u00eda de llms.txt<\/a> explica c\u00f3mo comprobarlo.<\/p>\n<h2 id=\"summary\">Resumen<\/h2>\n<p>Una lista fiable de crawlers de IA empieza por la documentaci\u00f3n de los propios operadores, no por otras listas. Hoy son unos 20 user agents de 9 empresas en tres tipos: crawlers de entrenamiento, crawlers de b\u00fasqueda con IA y agentes activados por el usuario, adem\u00e1s de dos tokens de control (Google-Extended y Applebot-Extended) que nunca rastrean. La mayor\u00eda de los sitios que act\u00faan bloquea el entrenamiento y mantiene la b\u00fasqueda, y robots.txt es solo una petici\u00f3n: si necesitas un bloqueo real, imp\u00f3nlo en el servidor o la CDN y verifica las IP.<\/p>\n<p>Los agentes de IA ya consultan los sitios en Online Web Directory antes de visitarlos. Si la ficha de tu sitio es incorrecta, o quieres que los agentes conozcan tu API, tu servidor MCP o tus permisos de IA, <a href=\"https:\/\/onlinewebdirectory.net\/es\/claim\">reclama tu sitio por 25 $<\/a>. Antes puedes hacer la <a href=\"https:\/\/onlinewebdirectory.net\/es\/check\">comprobaci\u00f3n de preparaci\u00f3n<\/a> gratuita.<\/p>\n<h2 id=\"faq\">Preguntas frecuentes<\/h2>\n<h3>\u00bfCu\u00e1l es el user agent de ChatGPT?<\/h3>\n<p>ChatGPT usa tres. GPTBot recopila datos de entrenamiento, OAI-SearchBot indexa p\u00e1ginas para la b\u00fasqueda de ChatGPT y ChatGPT-User descarga una p\u00e1gina cuando un usuario lo pide. Sus tokens de robots.txt son <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> y <code>ChatGPT-User<\/code>.<\/p>\n<h3>\u00bfBloquear GPTBot saca mi sitio de la b\u00fasqueda de ChatGPT?<\/h3>\n<p>No. OpenAI controla la b\u00fasqueda mediante OAI-SearchBot. Puedes bloquear GPTBot para excluirte del entrenamiento y seguir permitiendo OAI-SearchBot para que tus p\u00e1ginas aparezcan y se citen en la b\u00fasqueda de ChatGPT.<\/p>\n<h3>\u00bfGoogle-Extended es un crawler?<\/h3>\n<p>No. Google dice que Google-Extended no tiene un user agent propio. Googlebot hace el rastreo, y el token Google-Extended solo controla si ese contenido puede usarse para entrenar y fundamentar Gemini. No afecta al posicionamiento en la B\u00fasqueda de Google.<\/p>\n<h3>\u00bfLos crawlers de IA respetan robots.txt?<\/h3>\n<p>Los crawlers de entrenamiento y de b\u00fasqueda documentados en esta lista dicen que s\u00ed. Los fetchers activados por el usuario, como ChatGPT-User, Perplexity-User y Meta-ExternalFetcher, dicen que robots.txt puede no aplicarse porque una persona pidi\u00f3 la p\u00e1gina. Los scrapers no documentados pueden ignorarlo por completo.<\/p>\n<h3>\u00bfC\u00f3mo s\u00e9 si un bot es de verdad GPTBot o ClaudeBot?<\/h3>\n<p>Comprueba la IP de origen. OpenAI publica rangos en <code>gptbot.json<\/code>, <code>searchbot.json<\/code> y <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral y Google publican los suyos. Un user agent que coincide desde una IP que no figura en la lista es un impostor.<\/p>\n<h2 id=\"sources\">Fuentes<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (consultado el 20 nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> y <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> y <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">conjunto de datos abierto de sitios<\/a> (62.088 sitios, exportado el 20 nov. 2026) y nuestra muestra de robots.txt de 3.000 hosts<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Una lista verificada de crawlers y user agents de IA en 2026 (GPTBot, ClaudeBot, PerplexityBot y m\u00e1s): qu\u00e9 hace cada uno, reglas de bloqueo probadas y datos de robots.txt de 2.124 sitios.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-es","format":"standard","meta":{"footnotes":""},"categories":[237],"tags":[],"class_list":["post-582","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list"],"lang":"es","translations":{"es":582,"en":567,"de":580,"pt":584,"fr":586,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/582","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=582"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/582\/revisions"}],"predecessor-version":[{"id":583,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/582\/revisions\/583"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=582"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=582"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=582"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}