{"id":588,"date":"2026-11-20T08:33:01","date_gmt":"2026-11-19T21:33:01","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/elenco-crawler-ia\/"},"modified":"2026-11-20T08:33:04","modified_gmt":"2026-11-19T21:33:04","slug":"elenco-crawler-ia","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/it\/ai-crawlers\/crawler-list\/elenco-crawler-ia\/","title":{"rendered":"Elenco dei crawler IA 2026: ogni bot IA, il suo user agent e cosa fa"},"content":{"rendered":"<p>La maggior parte degli \u00abelenchi di crawler IA\u00bb che troverete sono copiati l&#8217;uno dall&#8217;altro, e molti sono superati. Indicano ancora <code>Claude-Web<\/code> come crawler di Anthropic, inventano un bot \u00abGooglebot-Extended\u00bb o sostengono che Google-Extended scansiona le vostre pagine. Non \u00e8 cos\u00ec. Google-Extended non ha uno user agent proprio: \u00e8 solo un token di robots.txt.<\/p>\n<p>Questo elenco \u00e8 diverso per due motivi. Ogni user agent qui sotto \u00e8 verificato sulla documentazione dell&#8217;operatore, aggiornata al 20 novembre 2026. E abbiamo misurato come i siti reali trattano questi bot: abbiamo scaricato il robots.txt di 3.000 siti scelti a caso nel registro di Online Web Directory e contato quali crawler IA nominano e bloccano. Troverete anche regole testate per robots.txt, Nginx e Apache, pi\u00f9 uno script che verifica se un visitatore \u00abGPTBot\u00bb arriva davvero da OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>Che cos&#8217;\u00e8 un elenco di crawler IA?<\/strong> Un elenco di crawler IA \u00e8 un riferimento dei bot che le aziende di IA usano per scaricare pagine web, con il token robots.txt di ogni bot, la sua stringa user agent e il suo compito: raccogliere dati di addestramento, indicizzare pagine per la ricerca IA o recuperare una pagina in tempo reale perch\u00e9 un utente l&#8217;ha chiesta. Serve per scrivere regole robots.txt, leggere i log del server e impostare le regole del firewall.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">I crawler IA in sintesi<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Domanda<\/th>\n<th>Risposta breve<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Quanti crawler IA contano?<\/td>\n<td>Circa 20 user agent documentati di 9 operatori (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), pi\u00f9 DuckDuckGo e una lunga coda di bot minori.<\/td>\n<\/tr>\n<tr>\n<td>Tipi principali<\/td>\n<td>Crawler di addestramento, crawler di ricerca IA e agenti o fetcher avviati dall&#8217;utente. Google-Extended e Applebot-Extended sono token di controllo, non crawler.<\/td>\n<\/tr>\n<tr>\n<td>Rispettano robots.txt?<\/td>\n<td>I crawler di addestramento e di ricerca documentati dicono di s\u00ec. I fetcher avviati dall&#8217;utente (ChatGPT-User, Perplexity-User, i fetcher di Google avviati dall&#8217;utente, Meta-ExternalFetcher) dicono che robots.txt potrebbe non applicarsi.<\/td>\n<\/tr>\n<tr>\n<td>robots.txt pu\u00f2 restituire un errore 403?<\/td>\n<td>No. robots.txt \u00e8 una richiesta, non una serratura. Un 403 arriva dal vostro server, CDN o firewall.<\/td>\n<\/tr>\n<tr>\n<td>Quanto spesso i siti li bloccano?<\/td>\n<td>Nel nostro campione del 20 nov. 2026, il 16,9% dei file robots.txt blocca del tutto GPTBot, ma solo il 2,8% blocca del tutto OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>Come si verifica un bot?<\/td>\n<td>Confrontate l&#8217;IP della richiesta con l&#8217;elenco di IP pubblicato dall&#8217;operatore (per esempio <code>https:\/\/openai.com\/gptbot.json<\/code>). Uno user agent si falsifica con facilit\u00e0.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">L&#8217;elenco dei crawler IA (verificato a novembre 2026)<\/h2>\n<p>La tabella mostra ogni token robots.txt, chi lo gestisce, cosa fa secondo l&#8217;operatore e se l&#8217;operatore dichiara di rispettare robots.txt. La colonna \u00abTipo\u00bb usa tre categorie: <strong>addestramento<\/strong> (raccoglie contenuti che possono addestrare modelli), <strong>ricerca<\/strong> (indicizza pagine perch\u00e9 un prodotto IA possa citarle in seguito) e <strong>utente<\/strong> (recupera una pagina in tempo reale perch\u00e9 una persona l&#8217;ha chiesta). Abbiamo escluso i bot il cui operatore non pubblica documentazione verificabile.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token robots.txt<\/th>\n<th>Operatore<\/th>\n<th>Tipo<\/th>\n<th>Cosa fa<\/th>\n<th>Rispetta robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Addestramento<\/td>\n<td>Scansiona contenuti che possono servire ad addestrare i modelli di base di OpenAI.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Ricerca<\/td>\n<td>Indicizza pagine perch\u00e9 possano comparire nei risultati di ricerca di ChatGPT.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Utente<\/td>\n<td>Visita una pagina quando un utente di ChatGPT o di un Custom GPT fa una domanda.<\/td>\n<td>\u00abPotrebbe non applicarsi\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Controllo annunci<\/td>\n<td>Controlla le landing page inviate come annunci ChatGPT; non usato per l&#8217;addestramento.<\/td>\n<td>Visita solo le pagine inviate<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Addestramento<\/td>\n<td>Raccoglie contenuti web che possono contribuire all&#8217;addestramento dei modelli Claude.<\/td>\n<td>S\u00ec, e rispetta <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Ricerca<\/td>\n<td>Indicizza contenuti per migliorare i risultati di ricerca di Claude.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Utente<\/td>\n<td>Recupera pagine quando un utente di Claude fa una domanda.<\/td>\n<td>S\u00ec, secondo Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Token di controllo<\/td>\n<td>Decide se i contenuti scansionati da Google possono addestrare Gemini o fondarne le risposte. Non \u00e8 un crawler separato.<\/td>\n<td>Solo token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Richiesto dal proprietario<\/td>\n<td>Scansiona i siti i cui proprietari creano Vertex AI Agents; nessun effetto sulla ricerca Google.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Utente<\/td>\n<td>Agenti ospitati da Google che navigano e agiscono su richiesta di un utente.<\/td>\n<td>Avviato dall&#8217;utente: in genere no<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Ricerca<\/td>\n<td>Indicizza pagine per i risultati di ricerca di Perplexity; non usato per l&#8217;addestramento.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Utente<\/td>\n<td>Recupera una pagina durante la sessione Perplexity di un utente.<\/td>\n<td>\u00abIn genere lo ignora\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Token di controllo<\/td>\n<td>Decide se le pagine scansionate da Applebot possono addestrare i modelli di base di Apple. Non scansiona nulla.<\/td>\n<td>Solo token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Addestramento<\/td>\n<td>Scansiona per usi come l&#8217;addestramento di modelli IA o l&#8217;indicizzazione dei contenuti.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Utente<\/td>\n<td>Recupera link specifici su richiesta di un utente, anche per attivit\u00e0 da agente.<\/td>\n<td>\u00abPotrebbe aggirarlo\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Addestramento<\/td>\n<td>Migliora prodotti e servizi Amazon; pu\u00f2 servire ad addestrare i modelli IA di Amazon.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Ricerca<\/td>\n<td>Indicizza pagine per esperienze di ricerca come Alexa; non usato per l&#8217;addestramento.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Utente<\/td>\n<td>Recupera informazioni in tempo reale per rispondere a un utente, per esempio una richiesta ad Alexa.<\/td>\n<td>\u00abPotrebbe non seguire tutto\u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Dati di addestramento<\/td>\n<td>Costruisce l&#8217;archivio web aperto di Common Crawl, fonte frequente di dati di addestramento per l&#8217;IA.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Addestramento<\/td>\n<td>Scansiona contenuti per creare dataset di addestramento per i modelli Mistral.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Ricerca<\/td>\n<td>Indicizza contenuti per la ricerca di Mistral; non usato per l&#8217;addestramento.<\/td>\n<td>S\u00ec<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Utente<\/td>\n<td>Visita una pagina quando un utente fa una domanda a Vibe, l&#8217;assistente di Mistral.<\/td>\n<td>S\u00ec, per le richieste degli utenti<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>Ricerca<\/td>\n<td>Scansiona pagine in tempo reale per le risposte assistite dall&#8217;IA di DuckDuckGo.<\/td>\n<td>S\u00ec (effettivo dopo 72 ore)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Le fonti di ogni riga sono linkate alla fine dell&#8217;articolo. Le citazioni nell&#8217;ultima colonna vengono direttamente dalla documentazione dell&#8217;operatore. Bytespider (ByteDance) manca di proposito: non abbiamo trovato alcuna pagina di ByteDance che lo documenti, anche se il 18,5% dei file robots.txt del nostro campione lo nomina. Per lo stesso motivo non descriviamo la lunga coda di token come <code>cohere-ai<\/code>, <code>Diffbot<\/code> o <code>omgili<\/code>; la loro frequenza \u00e8 nella sezione dati.<\/p>\n<h3>Le stringhe user agent complete che vedrete nei log<\/h3>\n<p>robots.txt funziona con il token breve, ma i log di accesso mostrano la stringa completa. Questi sono gli esempi pubblicati dagli operatori. I numeri di versione cambiano: filtrate sul token, non sulla stringa intera.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI precisa anche che GPTBot e OAI-SearchBot possono aggiungere un indicatore <code>robots.txt<\/code> allo user agent quando recuperano il vostro robots.txt, cos\u00ec potete distinguere quelle richieste in log senza percorsi.<\/p>\n<h2 id=\"types\">Tre tipi di crawler IA, e perch\u00e9 la differenza conta<\/h2>\n<p>Bloccare i \u00abbot IA\u00bb come un unico gruppo \u00e8 l&#8217;errore pi\u00f9 comune che vediamo. I tre tipi hanno costi e benefici diversi, e gli operatori trattano robots.txt in modo diverso per ciascuno.<\/p>\n<h3>Crawler di addestramento<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot e MistralAI-Training raccolgono pagine che possono finire nei dati di addestramento. Bloccarli non vi toglie dai risultati di ricerca IA della stessa azienda: OpenAI dice che ogni sua impostazione robots.txt \u00e8 indipendente, quindi potete bloccare GPTBot e consentire OAI-SearchBot. Nel nostro campione, i crawler di addestramento sono il gruppo pi\u00f9 bloccato. Il 17,3% dei file robots.txt blocca del tutto CCBot, il 16,9% GPTBot e il 15,9% ClaudeBot.<\/p>\n<h3>Crawler di ricerca IA<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index e DuckAssistBot indicizzano pagine perch\u00e9 un assistente possa trovarle e citarle in seguito. Bloccarli pu\u00f2 escludervi da quelle risposte. I proprietari dei siti sembrano saperlo: solo il 2,8% dei file blocca del tutto OAI-SearchBot e il 5,8% PerplexityBot, contro il 16,9% di GPTBot.<\/p>\n<h3>Fetcher e agenti avviati dall&#8217;utente<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User e Google-Agent agiscono per una persona alla volta, come un browser. Diversi operatori dicono che robots.txt potrebbe non applicarsi, perch\u00e9 la pagina l&#8217;ha chiesta un essere umano. Sono anche i bot usati dagli agenti di acquisto e prenotazione: bloccarli pu\u00f2 allontanare clienti reali. Il 5,9% dei file del nostro campione blocca del tutto ChatGPT-User.<\/p>\n<h3>Token di controllo che non scansionano nulla<\/h3>\n<p>Google-Extended e Applebot-Extended non visitano mai il vostro sito. Google e Apple scansionano come sempre con Googlebot e Applebot, poi controllano questi token per decidere se i contenuti possono addestrare i loro modelli. Google afferma che bloccare Google-Extended non ha alcun effetto sull&#8217;inclusione o sul posizionamento nella ricerca Google. Il 14,1% dei file analizzati blocca del tutto Google-Extended e il 13,5% Applebot-Extended. Google ha anche annunciato che intende supportare il segnale comune per l&#8217;addestramento IA (<code>user-agent: __usage_ai-training<\/code>) all&#8217;inizio del 2027; ne parliamo nella nostra <a href=\"\/blog\/it\/robots-txt\/training-opt-out\/robots-txt-opt-out-addestramento-ia\/\">guida all&#8217;opt-out dall&#8217;addestramento IA in robots.txt<\/a>.<\/p>\n<h3>Vecchi token che affollano ancora i robots.txt<\/h3>\n<p>L&#8217;attuale pagina di aiuto di Anthropic cita solo ClaudeBot, Claude-User e Claude-SearchBot. Eppure il 15,6% dei file analizzati nomina ancora <code>anthropic-ai<\/code> e il 13,8% <code>Claude-Web<\/code>. Le regole per quei nomi non fanno danni, ma se sono le vostre uniche regole per Anthropic potrebbero non coprire i bot che Anthropic documenta oggi. Verificate che <code>ClaudeBot<\/code> sia nominato esplicitamente.<\/p>\n<h2 id=\"what-it-looks-like\">Come appare in pratica l&#8217;accesso dei crawler IA<\/h2>\n<p>Per gli user agent fa fede la documentazione degli operatori. La pagina di OpenAI, per esempio, elenca ogni bot con una stringa user agent di esempio, note sull&#8217;indicatore robots.txt e un link al suo file di IP pubblicato.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Documentazione di OpenAI su OAI-SearchBot, con la stringa user agent di esempio, l'indicatore robots.txt e il file di IP pubblicato\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>La documentazione di OpenAI su OAI-SearchBot, acquisita il 20 novembre 2026.<\/figcaption><\/figure>\n<p>Cosa fa davvero un sito con questi bot \u00e8 un&#8217;altra storia. Abbiamo richiesto sei home page dal nostro server con uno user agent Chrome, lo user agent GPTBot di OpenAI e uno user agent ClaudeBot. Il nostro server usa un IP di data center, che molte protezioni anti-bot guardano con sospetto; da una connessione domestica i risultati possono essere diversi.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"Risultati curl per sei siti richiesti con gli user agent Chrome, GPTBot e ClaudeBot il 20 novembre 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Stesso URL, tre user agent. Risultati da un IP di data center, 20 novembre 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Emergono tre schemi. Reddit ha servito Chrome ma ha restituito 403 a GPTBot e 429 a ClaudeBot: filtraggio per user agent sul server o sulla CDN. Il New York Times ha restituito 403 a tutti e tre, segno di un blocco basato sul nostro IP o sull&#8217;impronta della richiesta, non sullo user agent. E bbc.com ha restituito 200 a GPTBot anche se il suo robots.txt blocca GPTBot, ClaudeBot, CCBot, PerplexityBot e almeno altri cinque token IA. \u00c8 la prova pi\u00f9 chiara che robots.txt chiede senza imporre. Amazon ha risposto a tutti e tre con un 202 a corpo vuoto, una pagina di verifica intermedia anzich\u00e9 una pagina reale.<\/p>\n<p>La scheda di ogni sito in Online Web Directory separa questi due livelli: se gli agenti possono raggiungere il sito e cosa dice il suo robots.txt.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Scheda Online Web Directory di bbc.com: aperto agli agenti, nessun muro anti-bot, robots.txt limita alcuni percorsi\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>La scheda OWD di bbc.com: aperto agli agenti, con un robots.txt che limita alcuni percorsi.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">Come verificare quali crawler IA possono raggiungere il vostro sito<\/h2>\n<h3>1. Leggete i gruppi del vostro robots.txt per i token IA<\/h3>\n<p>Partite da ci\u00f2 che chiedete ai crawler. Questo comando mostra ogni gruppo che nomina un token IA comune, con la riga successiva:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Output reale per bbc.com il 20 novembre 2026 alle 08:09 AEDT (ridotto a quattro dei nove gruppi):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Ricordate che un crawler obbedisce solo al gruppo pi\u00f9 specifico che corrisponde al suo token. Se nominate <code>GPTBot<\/code> in un gruppo proprio, ignora del tutto le regole <code>User-agent: *<\/code>; ripetete quindi le regole condivise nel gruppo di GPTBot.<\/p>\n<h3>2. Testate la risposta del server agli user agent IA<\/h3>\n<p>robots.txt pu\u00f2 dire \u00abno\u00bb mentre il server dice ancora \u00abs\u00ec\u00bb, o viceversa. Richiedete la stessa pagina con user agent diversi e confrontate i codici di stato:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Sostituite l&#8217;URL con il vostro. Un 403 o un 429 solo per GPTBot indica un filtraggio per user agent. Un 403 per entrambi indica di solito la reputazione dell&#8217;IP o una verifica anti-bot. Testate sia da una connessione domestica sia da un server: i crawler reali arrivano da IP di data center, quindi il risultato dal server \u00e8 pi\u00f9 vicino a ci\u00f2 che vedono.<\/p>\n<h3>3. Individuate i crawler IA nei log di accesso<\/h3>\n<p>Contate le richieste per bot, poi controllate quali codici di stato ha ricevuto ciascuno. Abbiamo eseguito questi comandi sul log di accesso di un server Nginx di prova il 20 novembre 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>Il secondo comando funziona con il formato di log standard \u00abcombined\u00bb, dove il codice di stato segue la riga di richiesta tra virgolette. Un 200 per GPTBot su <code>\/robots.txt<\/code> e un 403 ovunque altrove \u00e8 esattamente ci\u00f2 che volete quando bloccate i crawler di addestramento sul server.<\/p>\n<h3>4. Verificate che un visitatore \u00abGPTBot\u00bb arrivi davvero da OpenAI<\/h3>\n<p>Chiunque pu\u00f2 inviare uno user agent GPTBot. OpenAI, Perplexity, DuckDuckGo, Mistral e Google pubblicano elenchi di IP: verificate quindi l&#8217;IP di origine. Questo script controlla un IP con i tre file di OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Output del 20 novembre 2026 alle 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>Al momento del nostro test, il file <code>gptbot.json<\/code> di OpenAI conteneva 18 intervalli IPv4, con data di creazione 22 settembre 2026. Scaricate i file ogni volta invece di scriverli nel codice.<\/p>\n<h3>5. Cercate il vostro sito nel registro<\/h3>\n<p>Online Web Directory verifica come i siti rispondono ai client HTTP semplici e cosa dice il loro robots.txt. Cercate il vostro dominio, per esempio <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> o <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, oppure eseguite il <a href=\"https:\/\/onlinewebdirectory.net\/it\/check\">controllo di idoneit\u00e0<\/a> gratuito. L&#8217;elenco dei <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">siti che bloccano gli agenti IA<\/a> mostra quali domini rifiutano i client semplici.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Elenco di Online Web Directory dei siti che bloccano gli agenti IA: 725 dei 55.144 siti verificati bloccano i client HTTP semplici\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>L&#8217;elenco di Online Web Directory dei siti che bloccano gli agenti IA, 20 novembre 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">Controllare i crawler IA: sei metodi<\/h2>\n<p>Scegliete in base al vostro obiettivo. La maggior parte dei siti vuole mantenere il traffico della ricerca IA, decidere caso per caso sull&#8217;addestramento e lasciare in pace gli agenti avviati dall&#8217;utente.<\/p>\n<h3>Metodo 1: bloccare i crawler di addestramento, mantenere la ricerca IA (robots.txt)<\/h3>\n<p>\u00c8 la politica pi\u00f9 comune tra i siti del nostro campione. Aggiungete questo al file <code>\/robots.txt<\/code> nella radice di ogni host che servite:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Abbiamo testato questo file con Protego, un parser conforme alla RFC 9309. Risultati per il percorso <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Impilare pi\u00f9 righe <code>User-agent<\/code> sopra un unico blocco di regole \u00e8 valido secondo la RFC 9309. Notate che il gruppo della ricerca IA non eredita la regola <code>\/wp-admin\/<\/code> del gruppo <code>*<\/code>; aggiungetela anche l\u00ec se vi serve.<\/p>\n<h3>Metodo 2: bloccare tutti i crawler IA documentati (robots.txt)<\/h3>\n<p>Se non volete alcun uso da parte dell&#8217;IA, aggiungete al gruppo bloccato i token di ricerca e utente: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> e <code>DuckAssistBot<\/code>. Aspettatevi di sparire dalle risposte dell&#8217;IA. E ricordate che diversi fetcher avviati dall&#8217;utente dicono che robots.txt potrebbe non applicarsi a loro: \u00e8 una preferenza dichiarata, non un muro.<\/p>\n<h3>Metodo 3: imporre il blocco in Nginx<\/h3>\n<p>Per rifiutare davvero le richieste, filtrate sul server. Questa configurazione restituisce 403 ai crawler di addestramento su ogni percorso tranne robots.txt, cos\u00ec possono ancora leggere le vostre regole. Il blocco <code>map<\/code> va nel contesto <code>http<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Testata con Nginx 1.26.3 il 20 novembre 2026: <code>nginx -t<\/code> \u00e8 andato a buon fine, GPTBot ha ricevuto 403 su <code>\/<\/code> e 200 su <code>\/robots.txt<\/code>, mentre Chrome e OAI-SearchBot hanno ricevuto 200 su entrambi. Un semplice <code>return<\/code> dentro un <code>if<\/code> \u00e8 tra gli usi che Nginx documenta come sicuri.<\/p>\n<h3>Metodo 4: imporre il blocco in Apache (.htaccess)<\/h3>\n<p>La stessa regola per Apache con <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Testato su Apache 2.4.71 con <code>AllowOverride All<\/code>: GPTBot ha ricevuto 403 sulla home page e 200 su robots.txt; Chrome e OAI-SearchBot hanno ricevuto 200. Il flag <code>[F]<\/code> restituisce 403 Forbidden.<\/p>\n<h3>Metodo 5: usare le regole per i crawler IA della vostra CDN<\/h3>\n<p>Su Cloudflare non serve mantenere un elenco. In Security, Settings, filtrate per \u00abBot traffic\u00bb e aprite <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare consente di impostare azioni separate per il traffico Search, Agent e Training. La sua documentazione dice che i nuovi domini sono impostati di default su \u00abAllow (do not block)\u00bb per tutti e tre, e che \u00abDisallow\u00bb per Training modifica solo robots.txt finch\u00e9 non si attiva Bot Preference Sync. La dashboard AI Crawl Control di Cloudflare mostra anche quali crawler passano e se rispettano il vostro robots.txt. Dei 62.088 siti del nostro registro, 6.966 (11,2%) hanno presentato una verifica Cloudflare al nostro strumento di controllo.<\/p>\n<h3>Metodo 6: verificare, poi consentire<\/h3>\n<p>Le regole per user agent bloccano i bot onesti e lasciano passare quelli disonesti. Se bloccate all&#8217;edge, abbinate la regola a una verifica dell&#8217;IP (vedi il passo 4) e lasciate passare gli agenti di ricerca e utente verificati. Anthropic avverte che bloccare i suoi indirizzi IP potrebbe non funzionare in modo affidabile come opt-out, perch\u00e9 impedisce a ClaudeBot di leggere il vostro robots.txt. Usate robots.txt per la politica e le verifiche IP per scovare gli impostori.<\/p>\n<h2 id=\"owd-data\">Cosa dicono 2.124 file robots.txt sui crawler IA<\/h2>\n<p>Il 20 novembre 2026, tra le 08:01 e le 08:03 AEDT, abbiamo estratto a caso 3.000 host dai 62.088 siti del <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">dataset aperto<\/a> di Online Web Directory e scaricato <code>\/robots.txt<\/code> dal nostro server. 2.124 hanno restituito un file analizzabile. Un token \u00e8 \u00abnominato\u00bb se ha una propria riga <code>User-agent<\/code>, e \u00abbloccato del tutto\u00bb se quel gruppo contiene <code>Disallow: \/<\/code> senza <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token robots.txt<\/th>\n<th>Nominato<\/th>\n<th>Bloccato del tutto<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (obsoleto)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (obsoleto)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Emergono quattro dati:<\/p>\n<ul>\n<li><strong>La maggior parte dei siti non menziona affatto i crawler IA.<\/strong> 629 file su 2.124 (29,6%) nominano almeno un token specifico per l&#8217;IA. Chi lo fa spesso ne nomina molti: la mediana \u00e8 di 12 token, e 357 file ne nominano 10 o pi\u00f9, segno di elenchi di blocco copiati.<\/li>\n<li><strong>L&#8217;addestramento si blocca, la ricerca no.<\/strong> GPTBot \u00e8 bloccato del tutto sei volte pi\u00f9 spesso di OAI-SearchBot (16,9% contro 2,8%).<\/li>\n<li><strong>robots.txt e accesso reale non coincidono.<\/strong> Dei 358 siti che bloccano del tutto GPTBot in robots.txt, 284 (79%) risultavano \u00abaperti\u00bb nel controllo di accesso di OWD: niente sul server fermava un client semplice.<\/li>\n<li><strong>I divieti totali sono rari.<\/strong> Solo 13 file (0,6%) vietano tutto a tutti gli user agent.<\/li>\n<\/ul>\n<p>Il registro completo racconta la stessa storia dall&#8217;altro lato. Ecco i risultati di accesso dei 62.088 siti, verificati l&#8217;ultima volta tra l&#8217;11 ottobre e il 19 novembre 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Cosa ha incontrato un client HTTP semplice<\/th>\n<th>Siti<\/th>\n<th>Quota<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Aperto<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Verifica anti-bot<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Bloccato<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Limitato<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Accesso richiesto<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Paywall<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Scaricate il dataset completo (CC BY 4.0) da <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> o consultate il <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">rapporto sull&#8217;accesso degli agenti IA<\/a>.<\/p>\n<h2 id=\"related-errors\">Errori e risposte correlati<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Il vostro server, CDN o firewall ha rifiutato la richiesta. Non \u00e8 mai causato da robots.txt in s\u00e9, e non \u00e8 permanente: cambiate la regola e la richiesta successiva pu\u00f2 andare a buon fine.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Limitazione della frequenza. Reddit l&#8217;ha restituito alla nostra richiesta ClaudeBot. Anthropic supporta <code>Crawl-delay<\/code>, un&#8217;alternativa pi\u00f9 morbida per ClaudeBot.<\/li>\n<li><strong>202 a corpo vuoto, o pagina di verifica 503.<\/strong> Di solito una verifica JavaScript o CAPTCHA. I crawler non possono risolverla: per loro la pagina \u00e8 bloccata anche senza 403.<\/li>\n<li><strong>robots.txt restituisce un 4xx.<\/strong> Secondo la RFC 9309, una risposta tra 400 e 499 significa che il file \u00e8 \u00abnon disponibile\u00bb e i crawler possono scansionare tutto. Nel nostro campione, 314 siti su 3.000 (10,5%) hanno risposto 403 alla nostra richiesta di robots.txt, che un crawler conforme leggerebbe come assenza di regole.<\/li>\n<li><strong>robots.txt restituisce un 5xx o non risponde.<\/strong> La RFC 9309 impone ai crawler di presumere un divieto totale: un guasto di robots.txt pu\u00f2 quindi bloccare in silenzio ogni crawler, Googlebot compreso.<\/li>\n<li><strong>robots.txt oltre 500 KiB.<\/strong> La RFC 9309 obbliga i crawler ad analizzare solo i primi 500 KiB: le regole oltre questo limite possono essere ignorate.<\/li>\n<\/ul>\n<p>Se pubblicate un file llms.txt per gli agenti IA, assicuratevi che i bot consentiti possano davvero scaricarlo. La nostra <a href=\"\/blog\/it\/llms-txt\/basics\/cos-e-llms-txt\/\">guida a llms.txt<\/a> spiega come testarlo.<\/p>\n<h2 id=\"summary\">Riepilogo<\/h2>\n<p>Un elenco affidabile di crawler IA parte dalla documentazione degli operatori, non da altri elenchi. Oggi si tratta di circa 20 user agent di 9 aziende, in tre tipi: crawler di addestramento, crawler di ricerca IA e agenti avviati dall&#8217;utente, pi\u00f9 due token di controllo (Google-Extended e Applebot-Extended) che non scansionano mai. La maggior parte dei siti che interviene blocca l&#8217;addestramento e mantiene la ricerca, e robots.txt \u00e8 solo una richiesta: se vi serve un blocco vero, imponetelo sul server o sulla CDN e verificate gli IP.<\/p>\n<p>Gli agenti IA consultano gi\u00e0 i siti in Online Web Directory prima di visitarli. Se la scheda del vostro sito \u00e8 sbagliata, o volete che gli agenti conoscano la vostra API, il vostro server MCP o i vostri permessi IA, <a href=\"https:\/\/onlinewebdirectory.net\/it\/claim\">rivendicate il vostro sito per 25 $<\/a>. Prima potete eseguire il <a href=\"https:\/\/onlinewebdirectory.net\/it\/check\">controllo di idoneit\u00e0<\/a> gratuito.<\/p>\n<h2 id=\"faq\">Domande frequenti<\/h2>\n<h3>Qual \u00e8 lo user agent di ChatGPT?<\/h3>\n<p>ChatGPT ne usa tre. GPTBot raccoglie dati di addestramento, OAI-SearchBot indicizza pagine per la ricerca di ChatGPT e ChatGPT-User recupera una pagina quando un utente la chiede. I loro token robots.txt sono <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> e <code>ChatGPT-User<\/code>.<\/p>\n<h3>Bloccare GPTBot toglie il mio sito dalla ricerca di ChatGPT?<\/h3>\n<p>No. OpenAI gestisce la ricerca tramite OAI-SearchBot. Potete bloccare GPTBot per rifiutare l&#8217;addestramento e consentire OAI-SearchBot perch\u00e9 le vostre pagine compaiano e siano citate nella ricerca di ChatGPT.<\/p>\n<h3>Google-Extended \u00e8 un crawler?<\/h3>\n<p>No. Google dice che Google-Extended non ha uno user agent separato. A scansionare \u00e8 Googlebot, e il token Google-Extended controlla solo se quei contenuti possono addestrare e fondare Gemini. Non ha alcun effetto sul posizionamento nella ricerca Google.<\/p>\n<h3>I crawler IA rispettano robots.txt?<\/h3>\n<p>I crawler di addestramento e di ricerca documentati in questo elenco dicono di s\u00ec. I fetcher avviati dall&#8217;utente, come ChatGPT-User, Perplexity-User e Meta-ExternalFetcher, dicono che robots.txt potrebbe non applicarsi, perch\u00e9 la pagina l&#8217;ha chiesta una persona. Gli scraper non documentati possono ignorarlo del tutto.<\/p>\n<h3>Come capisco se un bot \u00e8 davvero GPTBot o ClaudeBot?<\/h3>\n<p>Verificate l&#8217;IP di origine. OpenAI pubblica i suoi intervalli in <code>gptbot.json<\/code>, <code>searchbot.json<\/code> e <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral e Google pubblicano i loro. Uno user agent corrispondente da un IP non elencato \u00e8 un impostore.<\/p>\n<h2 id=\"sources\">Fonti<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (consultato il 20 nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> e <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> e <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">dataset aperto dei siti<\/a> (62.088 siti, esportato il 20 nov. 2026) e il nostro campione robots.txt di 3.000 host<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Un elenco verificato dei crawler e degli user agent IA nel 2026 (GPTBot, ClaudeBot, PerplexityBot e altri): cosa fa ciascuno, regole di blocco testate e dati robots.txt di 2.124 siti.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-it","format":"standard","meta":{"footnotes":""},"categories":[911],"tags":[],"class_list":["post-588","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list"],"lang":"it","translations":{"it":588,"en":567,"de":580,"es":582,"pt":584,"fr":586,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/588","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=588"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/588\/revisions"}],"predecessor-version":[{"id":589,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/588\/revisions\/589"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=588"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=588"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=588"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}