{"id":584,"date":"2026-11-20T08:29:15","date_gmt":"2026-11-19T21:29:15","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/lista-de-crawlers-de-ia\/"},"modified":"2026-11-20T08:29:18","modified_gmt":"2026-11-19T21:29:18","slug":"lista-de-crawlers-de-ia","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/pt\/ai-crawlers\/crawler-list\/lista-de-crawlers-de-ia\/","title":{"rendered":"Lista de crawlers de IA 2026: cada bot de IA, seu user agent e o que ele faz"},"content":{"rendered":"<p>A maioria das &#8220;listas de crawlers de IA&#8221; que voc\u00ea encontra foi copiada uma da outra, e muitas est\u00e3o desatualizadas. Elas ainda citam <code>Claude-Web<\/code> como o crawler da Anthropic, inventam um bot &#8220;Googlebot-Extended&#8221; ou dizem que o Google-Extended rastreia suas p\u00e1ginas. N\u00e3o rastreia. O Google-Extended n\u00e3o tem user agent pr\u00f3prio; \u00e9 apenas um token do robots.txt.<\/p>\n<p>Esta lista \u00e9 diferente em dois pontos. Cada user agent abaixo foi conferido na documenta\u00e7\u00e3o do pr\u00f3prio operador, em 20 de novembro de 2026. E medimos como sites reais tratam esses bots: baixamos o robots.txt de 3.000 sites escolhidos aleatoriamente no registro do Online Web Directory e contamos quais crawlers de IA eles citam e bloqueiam. Voc\u00ea tamb\u00e9m recebe regras testadas para robots.txt, Nginx e Apache, al\u00e9m de um script que verifica se um visitante &#8220;GPTBot&#8221; vem mesmo da OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>O que \u00e9 uma lista de crawlers de IA?<\/strong> Uma lista de crawlers de IA \u00e9 uma refer\u00eancia dos bots que as empresas de IA usam para buscar p\u00e1ginas da web, com o token de robots.txt de cada bot, sua string de user agent e sua fun\u00e7\u00e3o: coletar dados de treinamento, indexar p\u00e1ginas para a busca com IA ou buscar uma p\u00e1gina ao vivo porque um usu\u00e1rio pediu. Ela serve para escrever regras de robots.txt, ler logs do servidor e definir pol\u00edticas de firewall.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">Crawlers de IA em resumo<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Pergunta<\/th>\n<th>Resposta curta<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Quantos crawlers de IA importam?<\/td>\n<td>Cerca de 20 user agents documentados de 9 operadores (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), al\u00e9m do DuckDuckGo e de uma cauda longa de bots menores.<\/td>\n<\/tr>\n<tr>\n<td>Tipos principais<\/td>\n<td>Crawlers de treinamento, crawlers de busca com IA e fetchers ou agentes acionados pelo usu\u00e1rio. Google-Extended e Applebot-Extended s\u00e3o tokens de controle, n\u00e3o crawlers.<\/td>\n<\/tr>\n<tr>\n<td>Eles obedecem ao robots.txt?<\/td>\n<td>Os crawlers de treinamento e de busca documentados dizem que sim. Os fetchers acionados pelo usu\u00e1rio (ChatGPT-User, Perplexity-User, os fetchers acionados pelo usu\u00e1rio do Google, Meta-ExternalFetcher) dizem que o robots.txt pode n\u00e3o se aplicar.<\/td>\n<\/tr>\n<tr>\n<td>O robots.txt pode gerar um 403?<\/td>\n<td>N\u00e3o. O robots.txt \u00e9 um pedido, n\u00e3o uma tranca. Um 403 vem do seu servidor, da sua CDN ou do seu firewall.<\/td>\n<\/tr>\n<tr>\n<td>Com que frequ\u00eancia os sites os bloqueiam?<\/td>\n<td>Na nossa amostra de 20 nov. 2026, 16,9% dos arquivos robots.txt bloqueiam totalmente o GPTBot, mas s\u00f3 2,8% bloqueiam totalmente o OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>Como verifico um bot?<\/td>\n<td>Compare o IP da requisi\u00e7\u00e3o com a lista de IPs publicada pelo operador (por exemplo <code>https:\/\/openai.com\/gptbot.json<\/code>). User agents s\u00e3o f\u00e1ceis de falsificar.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">A lista de crawlers de IA (verificada em novembro de 2026)<\/h2>\n<p>A tabela mostra cada token de robots.txt, quem o opera, o que ele faz segundo o operador e se o operador diz que ele segue o robots.txt. &#8220;Tipo&#8221; usa tr\u00eas categorias: <strong>treinamento<\/strong> (coleta conte\u00fado que pode treinar modelos), <strong>busca<\/strong> (indexa p\u00e1ginas para que um produto de IA possa cit\u00e1-las depois) e <strong>usu\u00e1rio<\/strong> (busca uma p\u00e1gina em tempo real porque uma pessoa pediu). Deixamos de fora bots cujo operador n\u00e3o publica documenta\u00e7\u00e3o que pud\u00e9ssemos verificar.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token de robots.txt<\/th>\n<th>Operador<\/th>\n<th>Tipo<\/th>\n<th>O que faz<\/th>\n<th>Segue o robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Treinamento<\/td>\n<td>Rastreia conte\u00fado que pode ser usado para treinar os modelos de base da OpenAI.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Busca<\/td>\n<td>Indexa p\u00e1ginas para que possam aparecer nos resultados de busca do ChatGPT.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Visita uma p\u00e1gina quando um usu\u00e1rio do ChatGPT ou de um Custom GPT faz uma pergunta.<\/td>\n<td>&#8220;Pode n\u00e3o se aplicar&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Verifica\u00e7\u00e3o de an\u00fancios<\/td>\n<td>Verifica landing pages enviadas como an\u00fancios do ChatGPT; n\u00e3o \u00e9 usado para treinamento.<\/td>\n<td>S\u00f3 visita p\u00e1ginas enviadas<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Treinamento<\/td>\n<td>Coleta conte\u00fado da web que pode contribuir para treinar os modelos Claude.<\/td>\n<td>Sim, e respeita <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Busca<\/td>\n<td>Indexa conte\u00fado para melhorar os resultados de busca do Claude.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Busca p\u00e1ginas quando um usu\u00e1rio do Claude faz uma pergunta.<\/td>\n<td>Sim, segundo a Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Token de controle<\/td>\n<td>Decide se o conte\u00fado rastreado pelo Google pode treinar o Gemini ou embasar respostas do Gemini. N\u00e3o \u00e9 um crawler separado.<\/td>\n<td>S\u00f3 token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Solicitado pelo dono<\/td>\n<td>Rastreia sites cujos donos criam Vertex AI Agents; n\u00e3o afeta a Pesquisa Google.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Agentes na infraestrutura do Google que navegam e agem a pedido de um usu\u00e1rio.<\/td>\n<td>Acionado pelo usu\u00e1rio: em geral, n\u00e3o<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Busca<\/td>\n<td>Indexa p\u00e1ginas para os resultados de busca do Perplexity; n\u00e3o \u00e9 usado para treinamento.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Busca uma p\u00e1gina durante a sess\u00e3o de um usu\u00e1rio no Perplexity.<\/td>\n<td>&#8220;Em geral ignora&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Token de controle<\/td>\n<td>Decide se p\u00e1ginas rastreadas pelo Applebot podem treinar os modelos de base da Apple. N\u00e3o rastreia.<\/td>\n<td>S\u00f3 token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Treinamento<\/td>\n<td>Rastreia para usos como treinar modelos de IA ou indexar conte\u00fado.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Busca links espec\u00edficos a pedido de um usu\u00e1rio, inclusive em tarefas de agentes.<\/td>\n<td>&#8220;Pode ignorar&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Treinamento<\/td>\n<td>Melhora produtos e servi\u00e7os da Amazon; pode ser usado para treinar modelos de IA da Amazon.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Busca<\/td>\n<td>Indexa p\u00e1ginas para experi\u00eancias de busca como a Alexa; n\u00e3o \u00e9 usado para treinamento.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Busca informa\u00e7\u00f5es ao vivo para responder a um usu\u00e1rio, por exemplo uma pergunta \u00e0 Alexa.<\/td>\n<td>&#8220;Pode n\u00e3o seguir todas&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Dados de treinamento<\/td>\n<td>Constr\u00f3i o arquivo aberto da web do Common Crawl, uma fonte comum de dados de treinamento de IA.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Treinamento<\/td>\n<td>Rastreia conte\u00fado para montar conjuntos de dados de treinamento dos modelos da Mistral.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Busca<\/td>\n<td>Indexa conte\u00fado para a busca da Mistral; n\u00e3o \u00e9 usado para treinamento.<\/td>\n<td>Sim<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Usu\u00e1rio<\/td>\n<td>Visita uma p\u00e1gina quando um usu\u00e1rio faz uma pergunta ao Vibe, o assistente da Mistral.<\/td>\n<td>Sim, para pedidos de usu\u00e1rios<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>Busca<\/td>\n<td>Rastreia p\u00e1ginas em tempo real para as respostas assistidas por IA do DuckDuckGo.<\/td>\n<td>Sim (vale ap\u00f3s 72 horas)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>As fontes de cada linha est\u00e3o no fim do artigo. As cita\u00e7\u00f5es da \u00faltima coluna v\u00eam direto da documenta\u00e7\u00e3o do operador. O Bytespider (ByteDance) ficou de fora de prop\u00f3sito: n\u00e3o encontramos nenhuma p\u00e1gina da ByteDance que o documente, embora 18,5% dos arquivos robots.txt da nossa amostra o citem. Pelo mesmo motivo n\u00e3o descrevemos a cauda longa de tokens como <code>cohere-ai<\/code>, <code>Diffbot<\/code> ou <code>omgili<\/code>; a frequ\u00eancia com que os sites os citam est\u00e1 na se\u00e7\u00e3o de dados.<\/p>\n<h3>Strings completas de user agent que voc\u00ea ver\u00e1 nos logs<\/h3>\n<p>O robots.txt usa o token curto, mas seus logs de acesso mostram a string completa. Estes s\u00e3o os exemplos publicados pelos operadores. Os n\u00fameros de vers\u00e3o mudam, ent\u00e3o filtre pelo token, n\u00e3o pela string inteira.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>A OpenAI tamb\u00e9m observa que o GPTBot e o OAI-SearchBot podem acrescentar um marcador <code>robots.txt<\/code> ao user agent quando baixam seu robots.txt, para que voc\u00ea separe essas requisi\u00e7\u00f5es em logs que n\u00e3o registram caminhos.<\/p>\n<h2 id=\"types\">Tr\u00eas tipos de crawler de IA e por que a diferen\u00e7a importa<\/h2>\n<p>Bloquear &#8220;bots de IA&#8221; como um grupo s\u00f3 \u00e9 o erro mais comum que vemos. Os tr\u00eas tipos t\u00eam custos e benef\u00edcios diferentes, e os operadores tratam o robots.txt de forma diferente em cada um.<\/p>\n<h3>Crawlers de treinamento<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot e MistralAI-Training coletam p\u00e1ginas que podem acabar em dados de treinamento de modelos. Bloque\u00e1-los n\u00e3o tira voc\u00ea dos resultados de busca com IA da mesma empresa: a OpenAI diz que cada configura\u00e7\u00e3o de robots.txt dela \u00e9 independente, ent\u00e3o voc\u00ea pode bloquear o GPTBot e continuar permitindo o OAI-SearchBot. Na nossa amostra, os crawlers de treinamento s\u00e3o o grupo mais bloqueado. 17,3% dos arquivos robots.txt bloqueiam totalmente o CCBot, 16,9% o GPTBot e 15,9% o ClaudeBot.<\/p>\n<h3>Crawlers de busca com IA<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index e DuckAssistBot indexam p\u00e1ginas para que um assistente possa encontr\u00e1-las e cit\u00e1-las depois. Bloque\u00e1-los pode deixar voc\u00ea fora dessas respostas. Os donos de sites parecem saber disso: s\u00f3 2,8% dos arquivos bloqueiam totalmente o OAI-SearchBot e 5,8% o PerplexityBot, contra 16,9% para o GPTBot.<\/p>\n<h3>Fetchers e agentes acionados pelo usu\u00e1rio<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User e Google-Agent agem por uma pessoa de cada vez, como um navegador faria. V\u00e1rios operadores dizem que o robots.txt pode n\u00e3o se aplicar porque uma pessoa pediu a p\u00e1gina. S\u00e3o tamb\u00e9m os bots usados por agentes de compras e reservas, ent\u00e3o bloque\u00e1-los pode afastar clientes reais. 5,9% dos arquivos da nossa amostra bloqueiam totalmente o ChatGPT-User.<\/p>\n<h3>Tokens de controle que n\u00e3o rastreiam<\/h3>\n<p>Google-Extended e Applebot-Extended nunca visitam seu site. Google e Apple rastreiam normalmente com o Googlebot e o Applebot e depois consultam esses tokens para decidir se o conte\u00fado pode treinar seus modelos. Segundo o Google, bloquear o Google-Extended n\u00e3o afeta a inclus\u00e3o nem o ranking na Pesquisa Google. 14,1% dos arquivos analisados bloqueiam totalmente o Google-Extended e 13,5% o Applebot-Extended. O Google tamb\u00e9m disse que pretende aceitar o sinal compartilhado de treinamento de IA (<code>user-agent: __usage_ai-training<\/code>) no in\u00edcio de 2027; explicamos isso no nosso <a href=\"\/blog\/pt\/robots-txt\/training-opt-out\/robots-txt-exclusao-treinamento-ia\/\">guia sobre o opt-out de treinamento de IA no robots.txt<\/a>.<\/p>\n<h3>Tokens antigos que ainda enchem os arquivos robots.txt<\/h3>\n<p>A p\u00e1gina de ajuda atual da Anthropic cita apenas ClaudeBot, Claude-User e Claude-SearchBot. Mesmo assim, 15,6% dos arquivos analisados ainda citam <code>anthropic-ai<\/code> e 13,8% citam <code>Claude-Web<\/code>. Regras para esses nomes n\u00e3o fazem mal, mas se forem suas \u00fanicas regras para a Anthropic, talvez n\u00e3o cubram os bots que a Anthropic documenta hoje. Confira se o <code>ClaudeBot<\/code> est\u00e1 citado explicitamente.<\/p>\n<h2 id=\"what-it-looks-like\">Como \u00e9 o acesso dos crawlers de IA na pr\u00e1tica<\/h2>\n<p>A documenta\u00e7\u00e3o dos operadores \u00e9 a fonte confi\u00e1vel sobre user agents. A p\u00e1gina da OpenAI, por exemplo, lista cada bot com uma string de user agent de exemplo, notas sobre o marcador de robots.txt e um link para o arquivo de IPs publicado.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Documenta\u00e7\u00e3o da OpenAI sobre o OAI-SearchBot, com a string de user agent de exemplo, o marcador de robots.txt e o arquivo de IPs publicado\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>A documenta\u00e7\u00e3o da OpenAI sobre o OAI-SearchBot, capturada em 20 de novembro de 2026.<\/figcaption><\/figure>\n<p>O que um site realmente faz com esses bots \u00e9 outra hist\u00f3ria. Pedimos seis p\u00e1ginas iniciais a partir do nosso servidor com um user agent do Chrome, o user agent GPTBot da OpenAI e um user agent do ClaudeBot. Nosso servidor fica em um IP de data center, que muitas defesas contra bots tratam com desconfian\u00e7a, ent\u00e3o os resultados a partir de uma conex\u00e3o dom\u00e9stica podem ser diferentes.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"Resultados do curl para seis sites acessados com os user agents Chrome, GPTBot e ClaudeBot em 20 de novembro de 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Mesma URL, tr\u00eas user agents. Resultados a partir de um IP de data center, 20 de novembro de 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Aparecem tr\u00eas padr\u00f5es. O Reddit atendeu o Chrome, mas devolveu 403 ao GPTBot e 429 ao ClaudeBot: filtragem por user agent no servidor ou na CDN. O New York Times devolveu 403 aos tr\u00eas, o que sugere que o bloqueio se baseou no nosso IP ou na impress\u00e3o digital da requisi\u00e7\u00e3o, n\u00e3o no user agent. E o bbc.com devolveu 200 ao GPTBot, embora seu robots.txt bloqueie GPTBot, ClaudeBot, CCBot, PerplexityBot e pelo menos outros cinco tokens de IA. \u00c9 a prova mais clara de que o robots.txt pede e n\u00e3o imp\u00f5e. A Amazon respondeu aos tr\u00eas com um 202 e corpo vazio, uma p\u00e1gina intermedi\u00e1ria de verifica\u00e7\u00e3o em vez de uma p\u00e1gina de verdade.<\/p>\n<p>O registro de cada site no Online Web Directory separa essas duas camadas: se os agentes conseguem acessar o site e o que diz seu robots.txt.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Registro do Online Web Directory para bbc.com: aberto a agentes, sem barreira anti-bot, robots.txt restringe alguns caminhos\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>O registro do OWD para bbc.com: aberto a agentes, com robots.txt restringindo alguns caminhos.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">Como verificar quais crawlers de IA acessam seu site<\/h2>\n<h3>1. Leia os grupos do seu robots.txt para tokens de IA<\/h3>\n<p>Comece pelo que voc\u00ea pede aos crawlers. Este comando mostra cada grupo que cita um token de IA comum, com a linha seguinte:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Sa\u00edda real para bbc.com em 20 de novembro de 2026 \u00e0s 08:09 AEDT (reduzida a quatro dos nove grupos):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Lembre-se de que um crawler obedece apenas ao grupo mais espec\u00edfico que corresponde ao seu token. Se voc\u00ea citar o <code>GPTBot<\/code> em um grupo pr\u00f3prio, ele ignora totalmente suas regras de <code>User-agent: *<\/code>, ent\u00e3o repita as regras comuns dentro do grupo do GPTBot.<\/p>\n<h3>2. Teste como seu servidor responde aos user agents de IA<\/h3>\n<p>O robots.txt pode dizer &#8220;n\u00e3o&#8221; enquanto seu servidor continua dizendo &#8220;sim&#8221;, ou o contr\u00e1rio. Pe\u00e7a a mesma p\u00e1gina com user agents diferentes e compare os c\u00f3digos de status:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Troque a URL pela sua. Um 403 ou 429 s\u00f3 para o GPTBot indica filtragem por user agent. Um 403 para ambos costuma indicar reputa\u00e7\u00e3o de IP ou um desafio anti-bot. Teste a partir de uma conex\u00e3o dom\u00e9stica e de um servidor: crawlers reais v\u00eam de IPs de data center, ent\u00e3o o resultado do servidor fica mais perto do que eles veem.<\/p>\n<h3>3. Encontre crawlers de IA nos seus logs de acesso<\/h3>\n<p>Conte os acessos por bot e depois veja quais c\u00f3digos de status cada bot recebeu. Rodamos estes comandos no log de acesso de um servidor Nginx de teste em 20 de novembro de 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>O segundo comando funciona com o formato de log padr\u00e3o &#8220;combined&#8221;, em que o c\u00f3digo de status vem depois da linha de requisi\u00e7\u00e3o entre aspas. Um 200 do GPTBot em <code>\/robots.txt<\/code> e 403 em todo o resto \u00e9 exatamente o que voc\u00ea quer ao bloquear crawlers de treinamento no servidor.<\/p>\n<h3>4. Verifique se um visitante &#8220;GPTBot&#8221; \u00e9 mesmo da OpenAI<\/h3>\n<p>Qualquer um pode enviar um user agent GPTBot. OpenAI, Perplexity, DuckDuckGo, Mistral e Google publicam listas de IPs, ent\u00e3o confira o IP de origem. Este script testa um IP contra os tr\u00eas arquivos da OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Sa\u00edda em 20 de novembro de 2026 \u00e0s 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>No momento do nosso teste, o <code>gptbot.json<\/code> da OpenAI tinha 18 faixas IPv4, com data de cria\u00e7\u00e3o de 22 de setembro de 2026. Baixe os arquivos sempre de novo em vez de fix\u00e1-los no c\u00f3digo.<\/p>\n<h3>5. Consulte seu site no registro<\/h3>\n<p>O Online Web Directory verifica como os sites respondem a clientes HTTP simples e o que diz seu robots.txt. Pesquise seu dom\u00ednio, por exemplo <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> ou <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, ou fa\u00e7a a <a href=\"https:\/\/onlinewebdirectory.net\/pt\/check\">verifica\u00e7\u00e3o de prontid\u00e3o<\/a> gratuita. A lista de <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">sites que bloqueiam agentes de IA<\/a> mostra quais dom\u00ednios recusam clientes simples.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Lista do Online Web Directory de sites que bloqueiam agentes de IA: 725 de 55.144 sites verificados bloqueiam clientes HTTP simples\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>A lista do Online Web Directory de sites que bloqueiam agentes de IA, 20 de novembro de 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">Como controlar crawlers de IA: seis m\u00e9todos<\/h2>\n<p>Escolha conforme o seu objetivo. A maioria dos sites quer manter o tr\u00e1fego da busca com IA, decidir caso a caso sobre o treinamento e n\u00e3o mexer nos agentes acionados pelo usu\u00e1rio.<\/p>\n<h3>M\u00e9todo 1: Bloquear crawlers de treinamento e manter a busca com IA (robots.txt)<\/h3>\n<p>Esta \u00e9 a pol\u00edtica mais comum entre os sites da nossa amostra. Adicione isto ao <code>\/robots.txt<\/code> na raiz de cada host que voc\u00ea atende:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Testamos este arquivo com o Protego, um parser conforme a RFC 9309. Resultados para o caminho <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Empilhar v\u00e1rias linhas <code>User-agent<\/code> sobre um mesmo bloco de regras \u00e9 v\u00e1lido pela RFC 9309. Note que o grupo de busca com IA n\u00e3o herda a regra <code>\/wp-admin\/<\/code> do grupo <code>*<\/code>; adicione-a l\u00e1 tamb\u00e9m se precisar.<\/p>\n<h3>M\u00e9todo 2: Bloquear todos os crawlers de IA documentados (robots.txt)<\/h3>\n<p>Se voc\u00ea n\u00e3o quer nenhum uso por IA, adicione os tokens de busca e de usu\u00e1rio ao grupo de bloqueio: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> e <code>DuckAssistBot<\/code>. Conte com desaparecer das respostas de IA. E lembre que v\u00e1rios fetchers acionados pelo usu\u00e1rio dizem que o robots.txt pode n\u00e3o se aplicar a eles: isso \u00e9 uma declara\u00e7\u00e3o de prefer\u00eancia, n\u00e3o um muro.<\/p>\n<h3>M\u00e9todo 3: Impor o bloqueio no Nginx<\/h3>\n<p>Para recusar requisi\u00e7\u00f5es de fato, filtre no servidor. Esta configura\u00e7\u00e3o devolve 403 aos crawlers de treinamento em todos os caminhos exceto o robots.txt, para que continuem lendo suas regras. O bloco <code>map<\/code> vai no contexto <code>http<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Testamos com o Nginx 1.26.3 em 20 de novembro de 2026: o <code>nginx -t<\/code> passou, o GPTBot recebeu 403 em <code>\/<\/code> e 200 em <code>\/robots.txt<\/code>, e Chrome e OAI-SearchBot receberam 200 em ambos. Um \u00fanico <code>return<\/code> dentro de <code>if<\/code> \u00e9 um dos usos que o Nginx documenta como seguros.<\/p>\n<h3>M\u00e9todo 4: Impor o bloqueio no Apache (.htaccess)<\/h3>\n<p>A mesma regra para o Apache com <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Testado no Apache 2.4.71 com <code>AllowOverride All<\/code>: o GPTBot recebeu 403 na p\u00e1gina inicial e 200 no robots.txt; Chrome e OAI-SearchBot receberam 200. A flag <code>[F]<\/code> envia 403 Forbidden.<\/p>\n<h3>M\u00e9todo 5: Usar as pol\u00edticas de crawlers de IA da sua CDN<\/h3>\n<p>Se voc\u00ea usa a Cloudflare, n\u00e3o precisa manter uma lista. Em Security, Settings, filtre por &#8220;Bot traffic&#8221; e abra <strong>AI Crawler and Agent access policies<\/strong>. A Cloudflare permite definir a\u00e7\u00f5es separadas para o tr\u00e1fego Search, Agent e Training. A documenta\u00e7\u00e3o diz que dom\u00ednios novos usam &#8220;Allow (do not block)&#8221; por padr\u00e3o nos tr\u00eas, e que &#8220;Disallow&#8221; para Training s\u00f3 edita o robots.txt, a menos que o Bot Preference Sync esteja ativo. O painel AI Crawl Control da Cloudflare tamb\u00e9m mostra quais crawlers visitam e se seguem seu robots.txt. Dos 62.088 sites do nosso registro, 6.966 (11,2%) mostraram um desafio da Cloudflare ao nosso verificador.<\/p>\n<h3>M\u00e9todo 6: Verificar e depois permitir<\/h3>\n<p>Regras por user agent bloqueiam bots honestos e deixam passar os desonestos. Se voc\u00ea bloqueia na borda, combine a regra com uma verifica\u00e7\u00e3o de IP (veja o passo 4) e libere agentes de busca e de usu\u00e1rio verificados. A Anthropic avisa que bloquear seus endere\u00e7os IP pode n\u00e3o funcionar de forma confi\u00e1vel como opt-out, porque impede o ClaudeBot de ler seu robots.txt. Use o robots.txt para a pol\u00edtica e a verifica\u00e7\u00e3o de IP para pegar impostores.<\/p>\n<h2 id=\"owd-data\">O que 2.124 arquivos robots.txt dizem sobre crawlers de IA<\/h2>\n<p>Em 20 de novembro de 2026, entre 08:01 e 08:03 AEDT, escolhemos aleatoriamente 3.000 hosts entre os 62.088 sites do <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">conjunto de dados aberto<\/a> do Online Web Directory e baixamos o <code>\/robots.txt<\/code> a partir do nosso servidor. 2.124 devolveram um arquivo leg\u00edvel. Um token conta como &#8220;citado&#8221; se tem sua pr\u00f3pria linha <code>User-agent<\/code>, e como &#8220;totalmente bloqueado&#8221; se esse grupo tem <code>Disallow: \/<\/code> sem <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token de robots.txt<\/th>\n<th>Citado<\/th>\n<th>Totalmente bloqueado<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (antigo)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (antigo)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Quatro descobertas se destacam:<\/p>\n<ul>\n<li><strong>A maioria dos sites nem menciona crawlers de IA.<\/strong> 629 de 2.124 arquivos (29,6%) citam pelo menos um token espec\u00edfico de IA. Os que citam costumam citar muitos: a mediana \u00e9 de 12 tokens, e 357 arquivos citam 10 ou mais, sinal de listas de bloqueio copiadas.<\/li>\n<li><strong>O treinamento \u00e9 bloqueado, a busca n\u00e3o.<\/strong> O GPTBot \u00e9 totalmente bloqueado seis vezes mais que o OAI-SearchBot (16,9% contra 2,8%).<\/li>\n<li><strong>robots.txt e acesso real n\u00e3o batem.<\/strong> Dos 358 sites que bloqueiam totalmente o GPTBot no robots.txt, 284 (79%) estavam &#8220;abertos&#8221; na verifica\u00e7\u00e3o de acesso do pr\u00f3prio OWD: nada no servidor impediu um cliente simples.<\/li>\n<li><strong>Bloqueios gerais s\u00e3o raros.<\/strong> S\u00f3 13 arquivos (0,6%) bloqueiam tudo para todos os user agents.<\/li>\n<\/ul>\n<p>O registro inteiro conta a mesma hist\u00f3ria pelo outro lado. Estes s\u00e3o os resultados de acesso de todos os 62.088 sites, verificados pela \u00faltima vez entre 11 de outubro e 19 de novembro de 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>O que um cliente HTTP simples encontrou<\/th>\n<th>Sites<\/th>\n<th>Parcela<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Aberto<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Desafio anti-bot<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Bloqueado<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Limitado por taxa<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Exige login<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Paywall<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Baixe o conjunto de dados completo (CC BY 4.0) em <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> ou veja o <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">relat\u00f3rio de acesso de agentes de IA<\/a>.<\/p>\n<h2 id=\"related-errors\">Erros e respostas relacionados<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Seu servidor, CDN ou firewall recusou a requisi\u00e7\u00e3o. Nunca \u00e9 causado pelo robots.txt em si, e n\u00e3o \u00e9 permanente: mude a regra e a pr\u00f3xima requisi\u00e7\u00e3o pode funcionar.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Limita\u00e7\u00e3o de taxa. O Reddit devolveu este c\u00f3digo ao nosso pedido como ClaudeBot. A Anthropic aceita <code>Crawl-delay<\/code>, uma alternativa mais suave para o ClaudeBot.<\/li>\n<li><strong>202 com corpo vazio ou uma p\u00e1gina de desafio 503.<\/strong> Geralmente um desafio de JavaScript ou CAPTCHA. Crawlers n\u00e3o conseguem resolv\u00ea-los, ent\u00e3o para eles a p\u00e1gina est\u00e1 bloqueada mesmo sem um 403.<\/li>\n<li><strong>robots.txt retorna 4xx.<\/strong> Pela RFC 9309, uma resposta de 400 a 499 significa que o arquivo est\u00e1 &#8220;indispon\u00edvel&#8221; e os crawlers podem acessar tudo. Na nossa amostra, 314 de 3.000 sites (10,5%) responderam com 403 ao nosso pedido de robots.txt, o que um crawler em conformidade leria como nenhuma regra.<\/li>\n<li><strong>robots.txt retorna 5xx ou n\u00e3o responde.<\/strong> A RFC 9309 diz que os crawlers devem ent\u00e3o assumir bloqueio total, ent\u00e3o uma falha no robots.txt pode bloquear silenciosamente todos os crawlers, inclusive o Googlebot.<\/li>\n<li><strong>robots.txt com mais de 500 KiB.<\/strong> A RFC 9309 s\u00f3 exige que os crawlers processem os primeiros 500 KiB, ent\u00e3o regras depois disso podem ser ignoradas.<\/li>\n<\/ul>\n<p>Se voc\u00ea publica um arquivo llms.txt para agentes de IA, garanta que os bots permitidos consigam baix\u00e1-lo. Nosso <a href=\"\/blog\/pt\/llms-txt\/basics\/o-que-e-llms-txt\/\">guia de llms.txt<\/a> mostra como testar isso.<\/p>\n<h2 id=\"summary\">Resumo<\/h2>\n<p>Uma lista precisa de crawlers de IA come\u00e7a pela documenta\u00e7\u00e3o dos pr\u00f3prios operadores, n\u00e3o por outras listas. Hoje isso significa cerca de 20 user agents de 9 empresas, em tr\u00eas tipos: crawlers de treinamento, crawlers de busca com IA e agentes acionados pelo usu\u00e1rio, al\u00e9m de dois tokens de controle (Google-Extended e Applebot-Extended) que nunca rastreiam. A maioria dos sites que age bloqueia o treinamento e mant\u00e9m a busca, e o robots.txt \u00e9 s\u00f3 um pedido: se precisar de um bloqueio real, imponha-o no servidor ou na CDN e verifique os IPs.<\/p>\n<p>Agentes de IA j\u00e1 consultam os sites no Online Web Directory antes de visit\u00e1-los. Se o registro do seu site estiver errado, ou se voc\u00ea quiser que os agentes conhe\u00e7am sua API, seu servidor MCP ou suas permiss\u00f5es de IA, <a href=\"https:\/\/onlinewebdirectory.net\/pt\/claim\">reivindique seu site por US$ 25<\/a>. Antes, voc\u00ea pode fazer a <a href=\"https:\/\/onlinewebdirectory.net\/pt\/check\">verifica\u00e7\u00e3o de prontid\u00e3o<\/a> gratuita.<\/p>\n<h2 id=\"faq\">Perguntas frequentes<\/h2>\n<h3>Qual \u00e9 o user agent do ChatGPT?<\/h3>\n<p>O ChatGPT usa tr\u00eas. O GPTBot coleta dados de treinamento, o OAI-SearchBot indexa p\u00e1ginas para a busca do ChatGPT e o ChatGPT-User busca uma p\u00e1gina quando um usu\u00e1rio pede. Seus tokens de robots.txt s\u00e3o <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> e <code>ChatGPT-User<\/code>.<\/p>\n<h3>Bloquear o GPTBot tira meu site da busca do ChatGPT?<\/h3>\n<p>N\u00e3o. A OpenAI controla a busca pelo OAI-SearchBot. Voc\u00ea pode bloquear o GPTBot para sair do treinamento e continuar permitindo o OAI-SearchBot, para que suas p\u00e1ginas apare\u00e7am e sejam citadas na busca do ChatGPT.<\/p>\n<h3>O Google-Extended \u00e9 um crawler?<\/h3>\n<p>N\u00e3o. O Google diz que o Google-Extended n\u00e3o tem user agent pr\u00f3prio. O Googlebot faz o rastreamento, e o token Google-Extended s\u00f3 controla se esse conte\u00fado pode ser usado para treinar e embasar o Gemini. Ele n\u00e3o afeta o ranking na Pesquisa Google.<\/p>\n<h3>Os crawlers de IA seguem o robots.txt?<\/h3>\n<p>Os crawlers de treinamento e de busca documentados nesta lista dizem que sim. Fetchers acionados pelo usu\u00e1rio, como ChatGPT-User, Perplexity-User e Meta-ExternalFetcher, dizem que o robots.txt pode n\u00e3o se aplicar, porque uma pessoa pediu a p\u00e1gina. Scrapers n\u00e3o documentados podem ignor\u00e1-lo totalmente.<\/p>\n<h3>Como sei se um bot \u00e9 mesmo o GPTBot ou o ClaudeBot?<\/h3>\n<p>Verifique o IP de origem. A OpenAI publica faixas em <code>gptbot.json<\/code>, <code>searchbot.json<\/code> e <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral e Google publicam as suas. Um user agent correspondente vindo de um IP fora da lista \u00e9 um impostor.<\/p>\n<h2 id=\"sources\">Fontes<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (acessado em 20 nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> e <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> e <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">conjunto de dados aberto de sites<\/a> (62.088 sites, exportado em 20 nov. 2026) e nossa amostra de robots.txt de 3.000 hosts<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Uma lista verificada de crawlers e user agents de IA em 2026 (GPTBot, ClaudeBot, PerplexityBot e outros): o que cada um faz, regras de bloqueio testadas e dados de robots.txt de 2.124 sites.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-pt","format":"standard","meta":{"footnotes":""},"categories":[1216],"tags":[],"class_list":["post-584","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list"],"lang":"pt","translations":{"pt":584,"en":567,"de":580,"es":582,"fr":586,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/584","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=584"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/584\/revisions"}],"predecessor-version":[{"id":585,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/584\/revisions\/585"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=584"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=584"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=584"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}