{"id":592,"date":"2026-11-20T08:36:48","date_gmt":"2026-11-19T21:36:48","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/lista-over-ai-crawlers\/"},"modified":"2026-11-20T08:36:51","modified_gmt":"2026-11-19T21:36:51","slug":"lista-over-ai-crawlers","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/sv\/ai-crawlers-sv\/crawler-list-sv\/lista-over-ai-crawlers\/","title":{"rendered":"Lista \u00f6ver AI-crawlers 2026: varje AI-bot, dess user agent och vad den g\u00f6r"},"content":{"rendered":"<p>De flesta &#8220;listor \u00f6ver AI-crawlers&#8221; du hittar \u00e4r kopierade fr\u00e5n varandra, och m\u00e5nga \u00e4r inaktuella. De anger fortfarande <code>Claude-Web<\/code> som Anthropics crawler, hittar p\u00e5 en bot som heter &#8220;Googlebot-Extended&#8221; eller p\u00e5st\u00e5r att Google-Extended crawlar dina sidor. Det g\u00f6r den inte. Google-Extended har ingen egen user agent; det \u00e4r bara en robots.txt-token.<\/p>\n<p>Den h\u00e4r listan skiljer sig p\u00e5 tv\u00e5 s\u00e4tt. Varje user agent nedan \u00e4r kontrollerad mot operat\u00f6rens egen dokumentation, per den 20 november 2026. Och vi har m\u00e4tt hur riktiga webbplatser behandlar botarna: vi h\u00e4mtade robots.txt fr\u00e5n 3 000 slumpvis valda webbplatser i Online Web Directorys register och r\u00e4knade vilka AI-crawlers de n\u00e4mner och blockerar. Du f\u00e5r ocks\u00e5 testade regler f\u00f6r robots.txt, Nginx och Apache, plus ett skript som kontrollerar om en &#8220;GPTBot&#8221;-bes\u00f6kare verkligen kommer fr\u00e5n OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>Vad \u00e4r en lista \u00f6ver AI-crawlers?<\/strong> En lista \u00f6ver AI-crawlers \u00e4r en referens \u00f6ver de botar som AI-f\u00f6retag anv\u00e4nder f\u00f6r att h\u00e4mta webbsidor, med varje bots robots.txt-token, dess user agent-str\u00e4ng och dess uppgift: samla tr\u00e4ningsdata, indexera sidor f\u00f6r AI-s\u00f6k eller h\u00e4mta en sida direkt f\u00f6r att en anv\u00e4ndare bad om den. Du anv\u00e4nder den f\u00f6r att skriva robots.txt-regler, l\u00e4sa serverloggar och st\u00e4lla in brandv\u00e4ggsregler.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">AI-crawlers i korthet<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Fr\u00e5ga<\/th>\n<th>Kort svar<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Hur m\u00e5nga AI-crawlers spelar roll?<\/td>\n<td>Ungef\u00e4r 20 dokumenterade user agents fr\u00e5n 9 operat\u00f6rer (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), plus DuckDuckGo och en l\u00e5ng svans av mindre botar.<\/td>\n<\/tr>\n<tr>\n<td>Huvudtyper<\/td>\n<td>Tr\u00e4ningscrawlers, AI-s\u00f6kcrawlers och anv\u00e4ndarstartade agenter eller h\u00e4mtare. Google-Extended och Applebot-Extended \u00e4r kontrolltokens, inte crawlers.<\/td>\n<\/tr>\n<tr>\n<td>F\u00f6ljer de robots.txt?<\/td>\n<td>De dokumenterade tr\u00e4nings- och s\u00f6kcrawlerna s\u00e4ger ja. Anv\u00e4ndarstartade h\u00e4mtare (ChatGPT-User, Perplexity-User, Googles anv\u00e4ndarstartade h\u00e4mtare, Meta-ExternalFetcher) s\u00e4ger att robots.txt kanske inte g\u00e4ller.<\/td>\n<\/tr>\n<tr>\n<td>Kan robots.txt ge ett 403-fel?<\/td>\n<td>Nej. robots.txt \u00e4r en beg\u00e4ran, inte ett l\u00e5s. Ett 403 kommer fr\u00e5n din server, ditt CDN eller din brandv\u00e4gg.<\/td>\n<\/tr>\n<tr>\n<td>Hur ofta blockerar webbplatser dem?<\/td>\n<td>I v\u00e5rt urval fr\u00e5n 20 nov. 2026 blockerar 16,9 % av robots.txt-filerna GPTBot helt, men bara 2,8 % blockerar OAI-SearchBot helt.<\/td>\n<\/tr>\n<tr>\n<td>Hur verifierar man en bot?<\/td>\n<td>J\u00e4mf\u00f6r f\u00f6rfr\u00e5gans IP med operat\u00f6rens publicerade IP-lista (till exempel <code>https:\/\/openai.com\/gptbot.json<\/code>). En user agent \u00e4r l\u00e4tt att f\u00f6rfalska.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">Listan \u00f6ver AI-crawlers (kontrollerad i november 2026)<\/h2>\n<p>Tabellen visar varje robots.txt-token, vem som driver den, vad den g\u00f6r enligt operat\u00f6ren och om operat\u00f6ren s\u00e4ger att den f\u00f6ljer robots.txt. Kolumnen &#8220;Typ&#8221; har tre grupper: <strong>tr\u00e4ning<\/strong> (samlar inneh\u00e5ll som kan tr\u00e4na modeller), <strong>s\u00f6k<\/strong> (indexerar sidor s\u00e5 att en AI-produkt kan citera dem senare) och <strong>anv\u00e4ndare<\/strong> (h\u00e4mtar en sida i realtid f\u00f6r att en person bad om den). Botar vars operat\u00f6r inte publicerar n\u00e5gon dokumentation som g\u00e5r att kontrollera har vi utel\u00e4mnat.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>robots.txt-token<\/th>\n<th>Operat\u00f6r<\/th>\n<th>Typ<\/th>\n<th>Vad den g\u00f6r<\/th>\n<th>F\u00f6ljer robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Tr\u00e4ning<\/td>\n<td>Crawlar inneh\u00e5ll som kan anv\u00e4ndas f\u00f6r att tr\u00e4na OpenAI:s grundmodeller.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>S\u00f6k<\/td>\n<td>Indexerar sidor s\u00e5 att de kan visas i ChatGPT:s s\u00f6kresultat.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>Bes\u00f6ker en sida n\u00e4r en anv\u00e4ndare av ChatGPT eller en Custom GPT st\u00e4ller en fr\u00e5ga.<\/td>\n<td>&#8220;G\u00e4ller kanske inte&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Annonskontroll<\/td>\n<td>Kontrollerar landningssidor som skickats in som ChatGPT-annonser; anv\u00e4nds inte f\u00f6r tr\u00e4ning.<\/td>\n<td>Bes\u00f6ker bara inskickade sidor<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Tr\u00e4ning<\/td>\n<td>Samlar webbinneh\u00e5ll som kan bidra till tr\u00e4ningen av Claude-modeller.<\/td>\n<td>Ja, och respekterar <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>S\u00f6k<\/td>\n<td>Indexerar inneh\u00e5ll f\u00f6r att f\u00f6rb\u00e4ttra Claudes s\u00f6kresultat.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>H\u00e4mtar sidor n\u00e4r en Claude-anv\u00e4ndare st\u00e4ller en fr\u00e5ga.<\/td>\n<td>Ja, enligt Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Kontrolltoken<\/td>\n<td>Styr om inneh\u00e5ll som Google crawlar f\u00e5r tr\u00e4na Gemini eller grunda dess svar. Ingen separat crawler.<\/td>\n<td>Endast token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>P\u00e5 \u00e4garens beg\u00e4ran<\/td>\n<td>Crawlar webbplatser vars \u00e4gare bygger Vertex AI Agents; ingen effekt p\u00e5 Google S\u00f6k.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>Agenter som Google driver och som surfar och utf\u00f6r \u00e5tg\u00e4rder p\u00e5 en anv\u00e4ndares beg\u00e4ran.<\/td>\n<td>Anv\u00e4ndarstartad: i regel nej<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>S\u00f6k<\/td>\n<td>Indexerar sidor f\u00f6r Perplexitys s\u00f6kresultat; anv\u00e4nds inte f\u00f6r tr\u00e4ning.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>H\u00e4mtar en sida under en anv\u00e4ndares Perplexity-session.<\/td>\n<td>&#8220;Ignorerar den i regel&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Kontrolltoken<\/td>\n<td>Styr om sidor som Applebot crawlar f\u00e5r tr\u00e4na Apples grundmodeller. Crawlar ingenting sj\u00e4lv.<\/td>\n<td>Endast token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Tr\u00e4ning<\/td>\n<td>Crawlar f\u00f6r anv\u00e4ndning som tr\u00e4ning av AI-modeller eller indexering av inneh\u00e5ll.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>H\u00e4mtar specifika l\u00e4nkar p\u00e5 en anv\u00e4ndares beg\u00e4ran, \u00e4ven f\u00f6r agentuppgifter.<\/td>\n<td>&#8220;Kan kringg\u00e5 den&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Tr\u00e4ning<\/td>\n<td>F\u00f6rb\u00e4ttrar Amazons produkter och tj\u00e4nster; kan anv\u00e4ndas f\u00f6r att tr\u00e4na Amazons AI-modeller.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>S\u00f6k<\/td>\n<td>Indexerar sidor f\u00f6r s\u00f6kupplevelser som Alexa; anv\u00e4nds inte f\u00f6r tr\u00e4ning.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>H\u00e4mtar aktuell information f\u00f6r att svara en anv\u00e4ndare, till exempel en Alexa-f\u00f6rfr\u00e5gan.<\/td>\n<td>&#8220;F\u00f6ljer kanske inte allt&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Tr\u00e4ningsdata<\/td>\n<td>Bygger Common Crawls \u00f6ppna webbarkiv, en vanlig k\u00e4lla till tr\u00e4ningsdata f\u00f6r AI.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Tr\u00e4ning<\/td>\n<td>Crawlar inneh\u00e5ll f\u00f6r att bygga tr\u00e4ningsdataset f\u00f6r Mistral-modeller.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>S\u00f6k<\/td>\n<td>Indexerar inneh\u00e5ll f\u00f6r Mistrals s\u00f6k; anv\u00e4nds inte f\u00f6r tr\u00e4ning.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Anv\u00e4ndare<\/td>\n<td>Bes\u00f6ker en sida n\u00e4r en anv\u00e4ndare st\u00e4ller en fr\u00e5ga till Vibe, Mistrals assistent.<\/td>\n<td>Ja, f\u00f6r anv\u00e4ndarf\u00f6rfr\u00e5gningar<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>S\u00f6k<\/td>\n<td>Crawlar sidor i realtid f\u00f6r DuckDuckGos AI-assisterade svar.<\/td>\n<td>Ja (g\u00e4ller efter 72 timmar)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>K\u00e4llorna f\u00f6r varje rad l\u00e4nkas i slutet av artikeln. Citaten i sista kolumnen kommer direkt fr\u00e5n operat\u00f6rens dokumentation. Bytespider (ByteDance) saknas med avsikt: vi hittade ingen sida fr\u00e5n ByteDance som dokumenterar den, \u00e4ven om 18,5 % av robots.txt-filerna i v\u00e5rt urval n\u00e4mner den. Av samma sk\u00e4l beskriver vi inte den l\u00e5nga svansen av tokens som <code>cohere-ai<\/code>, <code>Diffbot<\/code> eller <code>omgili<\/code>; hur ofta de f\u00f6rekommer finns i dataavsnittet.<\/p>\n<h3>De fullst\u00e4ndiga user agent-str\u00e4ngarna du ser i loggarna<\/h3>\n<p>robots.txt fungerar med den korta token, men dina \u00e5tkomstloggar visar hela str\u00e4ngen. Det h\u00e4r \u00e4r exemplen som operat\u00f6rerna publicerar. Versionsnummer \u00e4ndras, s\u00e5 filtrera p\u00e5 token och inte p\u00e5 hela str\u00e4ngen.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI anger ocks\u00e5 att GPTBot och OAI-SearchBot kan l\u00e4gga till en <code>robots.txt<\/code>-mark\u00f6r i user agent n\u00e4r de h\u00e4mtar din robots.txt, s\u00e5 att du kan skilja ut de f\u00f6rfr\u00e5gningarna i loggar som saknar s\u00f6kv\u00e4gar.<\/p>\n<h2 id=\"types\">Tre typer av AI-crawlers, och varf\u00f6r skillnaden spelar roll<\/h2>\n<p>Att blockera &#8220;AI-botar&#8221; som en enda grupp \u00e4r det vanligaste misstaget vi ser. De tre typerna har olika kostnader och nytta, och operat\u00f6rerna hanterar robots.txt olika f\u00f6r varje typ.<\/p>\n<h3>Tr\u00e4ningscrawlers<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot och MistralAI-Training samlar sidor som kan hamna i tr\u00e4ningsdata. Att blockera dem tar inte bort dig fr\u00e5n samma f\u00f6retags AI-s\u00f6kresultat: OpenAI s\u00e4ger att varje robots.txt-inst\u00e4llning \u00e4r oberoende, s\u00e5 du kan blockera GPTBot och till\u00e5ta OAI-SearchBot. I v\u00e5rt urval \u00e4r tr\u00e4ningscrawlers den mest blockerade gruppen. 17,3 % av robots.txt-filerna blockerar CCBot helt, 16,9 % GPTBot och 15,9 % ClaudeBot.<\/p>\n<h3>AI-s\u00f6kcrawlers<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index och DuckAssistBot indexerar sidor s\u00e5 att en assistent kan hitta och citera dem senare. Att blockera dem kan h\u00e5lla dig utanf\u00f6r de svaren. Webbplats\u00e4gare verkar veta det: bara 2,8 % av filerna blockerar OAI-SearchBot helt och 5,8 % PerplexityBot, mot 16,9 % f\u00f6r GPTBot.<\/p>\n<h3>Anv\u00e4ndarstartade h\u00e4mtare och agenter<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User och Google-Agent agerar f\u00f6r en person i taget, precis som en webbl\u00e4sare. Flera operat\u00f6rer s\u00e4ger att robots.txt kanske inte g\u00e4ller, eftersom en m\u00e4nniska bad om sidan. Det \u00e4r ocks\u00e5 dessa botar som shopping- och bokningsagenter anv\u00e4nder, s\u00e5 att blockera dem kan st\u00f6ta bort riktiga kunder. 5,9 % av filerna i v\u00e5rt urval blockerar ChatGPT-User helt.<\/p>\n<h3>Kontrolltokens som inte crawlar n\u00e5got<\/h3>\n<p>Google-Extended och Applebot-Extended bes\u00f6ker aldrig din webbplats. Google och Apple crawlar som vanligt med Googlebot och Applebot och kontrollerar sedan dessa tokens f\u00f6r att avg\u00f6ra om inneh\u00e5llet f\u00e5r tr\u00e4na deras modeller. Google s\u00e4ger att blockering av Google-Extended inte p\u00e5verkar indexering eller ranking i Google S\u00f6k. 14,1 % av de analyserade filerna blockerar Google-Extended helt och 13,5 % Applebot-Extended. Google har ocks\u00e5 sagt att man planerar att st\u00f6dja den gemensamma signalen f\u00f6r AI-tr\u00e4ning (<code>user-agent: __usage_ai-training<\/code>) i b\u00f6rjan av 2027; det tar vi upp i v\u00e5r <a href=\"\/blog\/sv\/robots-txt\/training-opt-out-sv\/robots-txt-opt-out-ai-traning\/\">guide om opt-out fr\u00e5n AI-tr\u00e4ning i robots.txt<\/a>.<\/p>\n<h3>Gamla tokens som fortfarande fyller robots.txt-filer<\/h3>\n<p>Anthropics nuvarande hj\u00e4lpsida n\u00e4mner bara ClaudeBot, Claude-User och Claude-SearchBot. \u00c4nd\u00e5 n\u00e4mner 15,6 % av de analyserade filerna fortfarande <code>anthropic-ai<\/code> och 13,8 % <code>Claude-Web<\/code>. Regler f\u00f6r de namnen skadar inte, men om det \u00e4r dina enda regler f\u00f6r Anthropic t\u00e4cker de kanske inte de botar som Anthropic dokumenterar i dag. Kontrollera att <code>ClaudeBot<\/code> n\u00e4mns uttryckligen.<\/p>\n<h2 id=\"what-it-looks-like\">Hur \u00e5tkomst f\u00f6r AI-crawlers ser ut i praktiken<\/h2>\n<p>F\u00f6r user agents g\u00e4ller operat\u00f6rernas dokumentation. OpenAI:s sida listar till exempel varje bot med ett exempel p\u00e5 user agent-str\u00e4ng, anteckningar om robots.txt-mark\u00f6ren och en l\u00e4nk till den publicerade IP-filen.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"OpenAI:s dokumentation om OAI-SearchBot, med exempel p\u00e5 user agent-str\u00e4ng, robots.txt-mark\u00f6ren och den publicerade IP-filen\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>OpenAI:s dokumentation om OAI-SearchBot, f\u00e5ngad den 20 november 2026.<\/figcaption><\/figure>\n<p>Vad en webbplats faktiskt g\u00f6r med botarna \u00e4r en annan sak. Vi beg\u00e4rde sex startsidor fr\u00e5n v\u00e5r server med en Chrome-user agent, OpenAI:s GPTBot-user agent och en ClaudeBot-user agent. V\u00e5r server anv\u00e4nder en datacenter-IP, som m\u00e5nga botskydd behandlar med misstanke; fr\u00e5n en hemanslutning kan resultaten bli annorlunda.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"curl-resultat f\u00f6r sex webbplatser beg\u00e4rda med user agents f\u00f6r Chrome, GPTBot och ClaudeBot den 20 november 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Samma URL, tre user agents. Resultat fr\u00e5n en datacenter-IP, 20 november 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Tre m\u00f6nster syns. Reddit levererade till Chrome men gav GPTBot 403 och ClaudeBot 429: filtrering p\u00e5 user agent i servern eller CDN:et. The New York Times gav alla tre 403, vilket tyder p\u00e5 blockering baserad p\u00e5 v\u00e5r IP eller f\u00f6rfr\u00e5gans fingeravtryck, inte p\u00e5 user agent. Och bbc.com gav GPTBot 200 trots att dess robots.txt blockerar GPTBot, ClaudeBot, CCBot, PerplexityBot och minst fem andra AI-tokens. Det \u00e4r det tydligaste beviset p\u00e5 att robots.txt ber men inte tvingar. Amazon svarade alla tre med ett 202 med tom kropp, en mellanliggande kontrollsida i st\u00e4llet f\u00f6r en riktig sida.<\/p>\n<p>Varje webbplats profil i Online Web Directory skiljer p\u00e5 de tv\u00e5 lagren: om agenter kan n\u00e5 webbplatsen och vad dess robots.txt s\u00e4ger.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Online Web Directory-profil f\u00f6r bbc.com: \u00f6ppen f\u00f6r agenter, ingen botmur, robots.txt begr\u00e4nsar vissa s\u00f6kv\u00e4gar\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>OWD-profilen f\u00f6r bbc.com: \u00f6ppen f\u00f6r agenter, med en robots.txt som begr\u00e4nsar vissa s\u00f6kv\u00e4gar.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">S\u00e5 kontrollerar du vilka AI-crawlers som kan n\u00e5 din webbplats<\/h2>\n<h3>1. L\u00e4s grupperna i din robots.txt f\u00f6r AI-tokens<\/h3>\n<p>B\u00f6rja med vad du ber crawlers om. Det h\u00e4r kommandot visar varje grupp som n\u00e4mner en vanlig AI-token, med raden efter:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Riktig utdata f\u00f6r bbc.com den 20 november 2026 kl. 08:09 AEDT (f\u00f6rkortad till fyra av nio grupper):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Kom ih\u00e5g att en crawler bara f\u00f6ljer den mest specifika grupp som matchar dess token. Om du n\u00e4mner <code>GPTBot<\/code> i en egen grupp ignorerar den dina <code>User-agent: *<\/code>-regler helt, s\u00e5 upprepa gemensamma regler i GPTBot-gruppen.<\/p>\n<h3>2. Testa hur din server svarar AI-user agents<\/h3>\n<p>robots.txt kan s\u00e4ga &#8220;nej&#8221; medan servern fortfarande s\u00e4ger &#8220;ja&#8221;, eller tv\u00e4rtom. Beg\u00e4r samma sida med olika user agents och j\u00e4mf\u00f6r statuskoderna:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Byt ut URL:en mot din egen. Ett 403 eller 429 bara f\u00f6r GPTBot tyder p\u00e5 filtrering p\u00e5 user agent. Ett 403 f\u00f6r b\u00e5da tyder oftast p\u00e5 IP-rykte eller en botkontroll. Testa b\u00e5de fr\u00e5n en hemanslutning och fr\u00e5n en server: riktiga crawlers kommer fr\u00e5n datacenter-IP:er, s\u00e5 serverresultatet ligger n\u00e4rmare det de ser.<\/p>\n<h3>3. Hitta AI-crawlers i dina \u00e5tkomstloggar<\/h3>\n<p>R\u00e4kna f\u00f6rfr\u00e5gningar per bot och kontrollera vilka statuskoder varje bot fick. Vi k\u00f6rde de h\u00e4r kommandona mot \u00e5tkomstloggen p\u00e5 en Nginx-testserver den 20 november 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>Det andra kommandot fungerar med standardloggformatet &#8220;combined&#8221;, d\u00e4r statuskoden st\u00e5r efter den citerade f\u00f6rfr\u00e5gningsraden. Ett 200 f\u00f6r GPTBot p\u00e5 <code>\/robots.txt<\/code> och 403 \u00f6verallt annars \u00e4r precis vad du vill se n\u00e4r du blockerar tr\u00e4ningscrawlers p\u00e5 servern.<\/p>\n<h3>4. Kontrollera att en &#8220;GPTBot&#8221;-bes\u00f6kare verkligen kommer fr\u00e5n OpenAI<\/h3>\n<p>Vem som helst kan skicka en GPTBot-user agent. OpenAI, Perplexity, DuckDuckGo, Mistral och Google publicerar IP-listor, s\u00e5 kontrollera k\u00e4ll-IP:n. Det h\u00e4r skriptet testar en IP mot OpenAI:s tre filer:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Utdata den 20 november 2026 kl. 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>N\u00e4r vi testade inneh\u00f6ll OpenAI:s fil <code>gptbot.json<\/code> 18 IPv4-intervall, med skapandedatum 22 september 2026. H\u00e4mta filerna varje g\u00e5ng i st\u00e4llet f\u00f6r att h\u00e5rdkoda dem.<\/p>\n<h3>5. Sl\u00e5 upp din webbplats i registret<\/h3>\n<p>Online Web Directory kontrollerar hur webbplatser svarar enkla HTTP-klienter och vad deras robots.txt s\u00e4ger. Sl\u00e5 upp din dom\u00e4n, till exempel <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> eller <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, eller k\u00f6r den kostnadsfria <a href=\"https:\/\/onlinewebdirectory.net\/sv\/check\">beredskapskontrollen<\/a>. Listan \u00f6ver <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">webbplatser som blockerar AI-agenter<\/a> visar vilka dom\u00e4ner som nekar enkla klienter.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Online Web Directorys lista \u00f6ver webbplatser som blockerar AI-agenter: 725 av 55 144 kontrollerade webbplatser blockerar enkla HTTP-klienter\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Online Web Directorys lista \u00f6ver webbplatser som blockerar AI-agenter, 20 november 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">Styra AI-crawlers: sex metoder<\/h2>\n<p>V\u00e4lj utifr\u00e5n ditt m\u00e5l. De flesta webbplatser vill beh\u00e5lla trafiken fr\u00e5n AI-s\u00f6k, ta st\u00e4llning till tr\u00e4ning fr\u00e5n fall till fall och l\u00e5ta anv\u00e4ndarstartade agenter vara.<\/p>\n<h3>Metod 1: blockera tr\u00e4ningscrawlers, beh\u00e5ll AI-s\u00f6k (robots.txt)<\/h3>\n<p>Det h\u00e4r \u00e4r den vanligaste policyn bland webbplatserna i v\u00e5rt urval. L\u00e4gg till detta i <code>\/robots.txt<\/code> i roten p\u00e5 varje v\u00e4rd du betj\u00e4nar:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Vi testade filen med Protego, en parser som f\u00f6ljer RFC 9309. Resultat f\u00f6r s\u00f6kv\u00e4gen <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Att stapla flera <code>User-agent<\/code>-rader ovanf\u00f6r ett regelblock \u00e4r giltigt enligt RFC 9309. Observera att AI-s\u00f6kgruppen inte \u00e4rver regeln <code>\/wp-admin\/<\/code> fr\u00e5n gruppen <code>*<\/code>; l\u00e4gg till den d\u00e4r ocks\u00e5 om du beh\u00f6ver den.<\/p>\n<h3>Metod 2: blockera alla dokumenterade AI-crawlers (robots.txt)<\/h3>\n<p>Om du inte vill ha n\u00e5gon AI-anv\u00e4ndning alls l\u00e4gger du till s\u00f6k- och anv\u00e4ndartokens i den blockerade gruppen: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> och <code>DuckAssistBot<\/code>. R\u00e4kna med att f\u00f6rsvinna fr\u00e5n AI-svar. Och kom ih\u00e5g att flera anv\u00e4ndarstartade h\u00e4mtare s\u00e4ger att robots.txt kanske inte g\u00e4ller dem: det \u00e4r en uttalad \u00f6nskan, ingen mur.<\/p>\n<h3>Metod 3: tvinga fram blockeringen i Nginx<\/h3>\n<p>F\u00f6r att verkligen neka f\u00f6rfr\u00e5gningar filtrerar du p\u00e5 servern. Den h\u00e4r konfigurationen ger tr\u00e4ningscrawlers 403 p\u00e5 alla s\u00f6kv\u00e4gar utom robots.txt, s\u00e5 att de fortfarande kan l\u00e4sa dina regler. Blocket <code>map<\/code> h\u00f6r hemma i <code>http<\/code>-kontexten:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Testad med Nginx 1.26.3 den 20 november 2026: <code>nginx -t<\/code> gick igenom, GPTBot fick 403 p\u00e5 <code>\/<\/code> och 200 p\u00e5 <code>\/robots.txt<\/code>, medan Chrome och OAI-SearchBot fick 200 p\u00e5 b\u00e5da. En enkel <code>return<\/code> inuti en <code>if<\/code> h\u00f6r till de anv\u00e4ndningar som Nginx dokumenterar som s\u00e4kra.<\/p>\n<h3>Metod 4: tvinga fram blockeringen i Apache (.htaccess)<\/h3>\n<p>Samma regel f\u00f6r Apache med <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Testad p\u00e5 Apache 2.4.71 med <code>AllowOverride All<\/code>: GPTBot fick 403 p\u00e5 startsidan och 200 p\u00e5 robots.txt; Chrome och OAI-SearchBot fick 200. Flaggan <code>[F]<\/code> returnerar 403 Forbidden.<\/p>\n<h3>Metod 5: anv\u00e4nd ditt CDN:s regler f\u00f6r AI-crawlers<\/h3>\n<p>P\u00e5 Cloudflare beh\u00f6ver du inte underh\u00e5lla n\u00e5gon lista. G\u00e5 till Security, Settings, filtrera p\u00e5 &#8220;Bot traffic&#8221; och \u00f6ppna <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare l\u00e5ter dig st\u00e4lla in separata \u00e5tg\u00e4rder f\u00f6r trafik av typen Search, Agent och Training. Enligt dokumentationen \u00e4r nya dom\u00e4ner som standard inst\u00e4llda p\u00e5 &#8220;Allow (do not block)&#8221; f\u00f6r alla tre, och &#8220;Disallow&#8221; f\u00f6r Training \u00e4ndrar bara robots.txt tills du aktiverar Bot Preference Sync. Cloudflares instrumentpanel AI Crawl Control visar ocks\u00e5 vilka crawlers som kommer in och om de f\u00f6ljer din robots.txt. Av de 62 088 webbplatserna i v\u00e5rt register visade 6 966 (11,2 %) en Cloudflare-kontroll f\u00f6r v\u00e5r kontrollant.<\/p>\n<h3>Metod 6: verifiera, sedan till\u00e5t<\/h3>\n<p>Regler p\u00e5 user agent blockerar \u00e4rliga botar och sl\u00e4pper igenom o\u00e4rliga. Om du blockerar vid kanten, kombinera regeln med IP-verifiering (se steg 4) och sl\u00e4pp igenom verifierade s\u00f6k- och anv\u00e4ndaragenter. Anthropic varnar f\u00f6r att blockering av dess IP-adresser kanske inte fungerar tillf\u00f6rlitligt som opt-out, eftersom ClaudeBot d\u00e5 inte kan l\u00e4sa din robots.txt. Anv\u00e4nd robots.txt f\u00f6r policyn och IP-kontroller f\u00f6r att f\u00e5nga imitat\u00f6rer.<\/p>\n<h2 id=\"owd-data\">Vad 2 124 robots.txt-filer s\u00e4ger om AI-crawlers<\/h2>\n<p>Den 20 november 2026 mellan 08:01 och 08:03 AEDT drog vi slumpvis 3 000 v\u00e4rdar bland de 62 088 webbplatserna i Online Web Directorys <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">\u00f6ppna dataset<\/a> och h\u00e4mtade <code>\/robots.txt<\/code> fr\u00e5n v\u00e5r server. 2 124 gav en tolkningsbar fil. En token \u00e4r &#8220;n\u00e4mnd&#8221; om den har en egen <code>User-agent<\/code>-rad, och &#8220;helt blockerad&#8221; om den gruppen inneh\u00e5ller <code>Disallow: \/<\/code> utan <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>robots.txt-token<\/th>\n<th>N\u00e4mnd<\/th>\n<th>Helt blockerad<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (\u00e4ldre)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (\u00e4ldre)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Fyra saker sticker ut:<\/p>\n<ul>\n<li><strong>De flesta webbplatser n\u00e4mner inte AI-crawlers alls.<\/strong> 629 av 2 124 filer (29,6 %) n\u00e4mner minst en AI-specifik token. De som g\u00f6r det n\u00e4mner ofta m\u00e5nga: medianen \u00e4r 12 tokens, och 357 filer n\u00e4mner 10 eller fler, ett tecken p\u00e5 kopierade blocklistor.<\/li>\n<li><strong>Tr\u00e4ning blockeras, s\u00f6k g\u00f6r det inte.<\/strong> GPTBot blockeras helt sex g\u00e5nger oftare \u00e4n OAI-SearchBot (16,9 % mot 2,8 %).<\/li>\n<li><strong>robots.txt och verklig \u00e5tkomst st\u00e4mmer inte \u00f6verens.<\/strong> Av de 358 webbplatser som blockerar GPTBot helt i robots.txt var 284 (79 %) &#8220;\u00f6ppna&#8221; i OWD:s \u00e5tkomstkontroll: ingenting p\u00e5 servern stoppade en enkel klient.<\/li>\n<li><strong>Totalf\u00f6rbud \u00e4r s\u00e4llsynta.<\/strong> Bara 13 filer (0,6 %) f\u00f6rbjuder allt f\u00f6r alla user agents.<\/li>\n<\/ul>\n<p>Hela registret ber\u00e4ttar samma historia fr\u00e5n andra h\u00e5llet. H\u00e4r \u00e4r \u00e5tkomstresultaten f\u00f6r alla 62 088 webbplatser, senast kontrollerade mellan 11 oktober och 19 november 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Vad en enkel HTTP-klient m\u00f6tte<\/th>\n<th>Webbplatser<\/th>\n<th>Andel<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u00d6ppen<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Botkontroll<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Blockerad<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Hastighetsbegr\u00e4nsad<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Inloggning kr\u00e4vs<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Betalv\u00e4gg<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Ladda ner hela datasetet (CC BY 4.0) p\u00e5 <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> eller se <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">rapporten om AI-agenters \u00e5tkomst<\/a>.<\/p>\n<h2 id=\"related-errors\">Relaterade fel och svar<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Din server, ditt CDN eller din brandv\u00e4gg nekade f\u00f6rfr\u00e5gan. Det orsakas aldrig av robots.txt i sig, och det \u00e4r inte permanent: \u00e4ndra regeln s\u00e5 kan n\u00e4sta f\u00f6rfr\u00e5gan lyckas.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Hastighetsbegr\u00e4nsning. Reddit gav detta p\u00e5 v\u00e5r ClaudeBot-f\u00f6rfr\u00e5gan. Anthropic st\u00f6der <code>Crawl-delay<\/code>, ett mjukare alternativ f\u00f6r ClaudeBot.<\/li>\n<li><strong>202 med tom kropp, eller en 503-kontrollsida.<\/strong> Oftast en JavaScript- eller CAPTCHA-kontroll. Crawlers kan inte l\u00f6sa den, s\u00e5 f\u00f6r dem \u00e4r sidan blockerad \u00e4ven utan 403.<\/li>\n<li><strong>robots.txt ger 4xx.<\/strong> Enligt RFC 9309 betyder ett svar mellan 400 och 499 att filen \u00e4r &#8220;otillg\u00e4nglig&#8221; och att crawlers f\u00e5r crawla allt. I v\u00e5rt urval svarade 314 av 3 000 webbplatser (10,5 %) med 403 p\u00e5 v\u00e5r robots.txt-f\u00f6rfr\u00e5gan, vilket en regelf\u00f6ljande crawler tolkar som inga regler.<\/li>\n<li><strong>robots.txt ger 5xx eller tidsgr\u00e4ns.<\/strong> RFC 9309 s\u00e4ger att crawlers d\u00e5 ska anta fullt f\u00f6rbud, s\u00e5 ett robots.txt-avbrott kan i tysthet blockera alla crawlers, \u00e4ven Googlebot.<\/li>\n<li><strong>robots.txt st\u00f6rre \u00e4n 500 KiB.<\/strong> RFC 9309 kr\u00e4ver bara att crawlers tolkar de f\u00f6rsta 500 KiB, s\u00e5 regler efter det kan ignoreras.<\/li>\n<\/ul>\n<p>Om du publicerar en llms.txt-fil f\u00f6r AI-agenter, se till att till\u00e5tna botar verkligen kan h\u00e4mta den. V\u00e5r <a href=\"\/blog\/sv\/llms-txt-sv\/basics-sv\/vad-ar-llms-txt\/\">guide till llms.txt<\/a> f\u00f6rklarar hur du testar det.<\/p>\n<h2 id=\"summary\">Sammanfattning<\/h2>\n<p>En p\u00e5litlig lista \u00f6ver AI-crawlers b\u00f6rjar med operat\u00f6rernas dokumentation, inte med andra listor. I dag handlar det om ungef\u00e4r 20 user agents fr\u00e5n 9 f\u00f6retag, i tre typer: tr\u00e4ningscrawlers, AI-s\u00f6kcrawlers och anv\u00e4ndarstartade agenter, plus tv\u00e5 kontrolltokens (Google-Extended och Applebot-Extended) som aldrig crawlar. De flesta webbplatser som agerar blockerar tr\u00e4ning och beh\u00e5ller s\u00f6k, och robots.txt \u00e4r bara en beg\u00e4ran: beh\u00f6ver du en verklig blockering, tvinga fram den i servern eller CDN:et och verifiera IP:er.<\/p>\n<p>AI-agenter sl\u00e5r redan upp webbplatser i Online Web Directory innan de bes\u00f6ker dem. Om din webbplats profil \u00e4r fel, eller om du vill att agenter ska k\u00e4nna till ditt API, din MCP-server eller dina AI-beh\u00f6righeter, <a href=\"https:\/\/onlinewebdirectory.net\/sv\/claim\">g\u00f6r anspr\u00e5k p\u00e5 din webbplats f\u00f6r 25 $<\/a>. Du kan k\u00f6ra den kostnadsfria <a href=\"https:\/\/onlinewebdirectory.net\/sv\/check\">beredskapskontrollen<\/a> f\u00f6rst.<\/p>\n<h2 id=\"faq\">Vanliga fr\u00e5gor<\/h2>\n<h3>Vilken user agent har ChatGPT?<\/h3>\n<p>ChatGPT anv\u00e4nder tre. GPTBot samlar tr\u00e4ningsdata, OAI-SearchBot indexerar sidor f\u00f6r ChatGPT-s\u00f6k och ChatGPT-User h\u00e4mtar en sida n\u00e4r en anv\u00e4ndare ber om den. Deras robots.txt-tokens \u00e4r <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> och <code>ChatGPT-User<\/code>.<\/p>\n<h3>Tar blockering av GPTBot bort min webbplats fr\u00e5n ChatGPT-s\u00f6k?<\/h3>\n<p>Nej. OpenAI sk\u00f6ter s\u00f6k via OAI-SearchBot. Du kan blockera GPTBot f\u00f6r att s\u00e4ga nej till tr\u00e4ning och till\u00e5ta OAI-SearchBot s\u00e5 att dina sidor visas och citeras i ChatGPT-s\u00f6k.<\/p>\n<h3>\u00c4r Google-Extended en crawler?<\/h3>\n<p>Nej. Google s\u00e4ger att Google-Extended inte har n\u00e5gon egen user agent. Det \u00e4r Googlebot som crawlar, och token Google-Extended styr bara om inneh\u00e5llet f\u00e5r tr\u00e4na och grunda Gemini. Den p\u00e5verkar inte rankingen i Google S\u00f6k.<\/p>\n<h3>F\u00f6ljer AI-crawlers robots.txt?<\/h3>\n<p>De dokumenterade tr\u00e4nings- och s\u00f6kcrawlerna i listan s\u00e4ger ja. Anv\u00e4ndarstartade h\u00e4mtare som ChatGPT-User, Perplexity-User och Meta-ExternalFetcher s\u00e4ger att robots.txt kanske inte g\u00e4ller, eftersom en person bad om sidan. Odokumenterade skrapare kan ignorera den helt.<\/p>\n<h3>Hur vet jag om en bot verkligen \u00e4r GPTBot eller ClaudeBot?<\/h3>\n<p>Kontrollera k\u00e4ll-IP:n. OpenAI publicerar sina intervall i <code>gptbot.json<\/code>, <code>searchbot.json<\/code> och <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral och Google publicerar sina. En matchande user agent fr\u00e5n en IP som inte finns i listan \u00e4r en imitat\u00f6r.<\/p>\n<h2 id=\"sources\">K\u00e4llor<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (h\u00e4mtad 20 nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> och <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> och <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">\u00f6ppet webbplatsdataset<\/a> (62 088 webbplatser, exporterat 20 nov. 2026) och v\u00e5rt robots.txt-urval p\u00e5 3 000 v\u00e4rdar<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>En kontrollerad lista \u00f6ver AI-crawlers och user agents 2026 (GPTBot, ClaudeBot, PerplexityBot med flera): vad var och en g\u00f6r, testade blockeringsregler och robots.txt-data fr\u00e5n 2 124 webbplatser.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-sv","format":"standard","meta":{"footnotes":""},"categories":[1272],"tags":[],"class_list":["post-592","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list-sv"],"lang":"sv","translations":{"sv":592,"en":567,"de":580,"es":582,"pt":584,"fr":586,"it":588,"nl":590,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/592","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=592"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/592\/revisions"}],"predecessor-version":[{"id":593,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/592\/revisions\/593"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=592"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=592"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=592"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}