{"id":580,"date":"2026-11-20T08:25:48","date_gmt":"2026-11-19T21:25:48","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/ki-crawler-liste\/"},"modified":"2026-11-20T08:25:50","modified_gmt":"2026-11-19T21:25:50","slug":"ki-crawler-liste","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/de\/ai-crawlers\/crawler-list\/ki-crawler-liste\/","title":{"rendered":"KI-Crawler-Liste 2026: Jeder KI-Bot, sein User-Agent und was er tut"},"content":{"rendered":"<p>Die meisten \u201eKI-Crawler-Listen\u201c im Netz sind voneinander abgeschrieben, und viele sind veraltet. Sie f\u00fchren <code>Claude-Web<\/code> noch als Crawler von Anthropic, erfinden einen Bot namens \u201eGooglebot-Extended\u201c oder behaupten, Google-Extended crawle Ihre Seiten. Das stimmt nicht. Google-Extended hat keinen eigenen User-Agent; es ist nur ein robots.txt-Token.<\/p>\n<p>Diese Liste ist in zwei Punkten anders. Jeder User-Agent unten ist mit der Dokumentation des Betreibers abgeglichen, Stand 20. November 2026. Und wir haben gemessen, wie echte Websites mit diesen Bots umgehen: Wir haben die robots.txt von 3.000 zuf\u00e4llig ausgew\u00e4hlten Websites aus dem Register von Online Web Directory abgerufen und gez\u00e4hlt, welche KI-Crawler sie nennen und sperren. Dazu bekommen Sie getestete Regeln f\u00fcr robots.txt, Nginx und Apache sowie ein Skript, das pr\u00fcft, ob ein \u201eGPTBot\u201c-Besucher wirklich von OpenAI kommt.<\/p>\n<div class=\"owd-definition\">\n<p><strong>Was ist eine KI-Crawler-Liste?<\/strong> Eine KI-Crawler-Liste ist eine \u00dcbersicht der Bots, mit denen KI-Unternehmen Webseiten abrufen: mit dem robots.txt-Token jedes Bots, seinem User-Agent-String und seiner Aufgabe, also Trainingsdaten sammeln, Seiten f\u00fcr die KI-Suche indexieren oder eine Seite live abrufen, weil ein Nutzer danach gefragt hat. Sie brauchen sie, um robots.txt-Regeln zu schreiben, Server-Logs zu lesen und Firewall-Richtlinien festzulegen.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">KI-Crawler auf einen Blick<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Frage<\/th>\n<th>Kurze Antwort<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Wie viele KI-Crawler sind relevant?<\/td>\n<td>Rund 20 dokumentierte User-Agents von 9 Betreibern (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), dazu DuckDuckGo und eine lange Reihe kleinerer Bots.<\/td>\n<\/tr>\n<tr>\n<td>Haupttypen<\/td>\n<td>Trainings-Crawler, KI-Such-Crawler und nutzerausgel\u00f6ste Abrufer oder Agenten. Google-Extended und Applebot-Extended sind Steuer-Token, keine Crawler.<\/td>\n<\/tr>\n<tr>\n<td>Halten sie sich an robots.txt?<\/td>\n<td>Dokumentierte Trainings- und Such-Crawler sagen Ja. Nutzerausgel\u00f6ste Abrufer (ChatGPT-User, Perplexity-User, Googles nutzerausgel\u00f6ste Fetcher, Meta-ExternalFetcher) sagen, dass robots.txt m\u00f6glicherweise nicht gilt.<\/td>\n<\/tr>\n<tr>\n<td>Kann robots.txt einen 403 ausl\u00f6sen?<\/td>\n<td>Nein. robots.txt ist eine Bitte, kein Schloss. Ein 403 kommt von Ihrem Server, Ihrem CDN oder Ihrer Firewall.<\/td>\n<\/tr>\n<tr>\n<td>Wie oft sperren Websites sie?<\/td>\n<td>In unserer Stichprobe vom 20. Nov. 2026 sperren 16,9 % der robots.txt-Dateien GPTBot vollst\u00e4ndig, aber nur 2,8 % OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>Wie pr\u00fcfe ich einen Bot?<\/td>\n<td>Gleichen Sie die IP der Anfrage mit der ver\u00f6ffentlichten IP-Liste des Betreibers ab (zum Beispiel <code>https:\/\/openai.com\/gptbot.json<\/code>). User-Agents lassen sich m\u00fchelos f\u00e4lschen.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">Die KI-Crawler-Liste (gepr\u00fcft im November 2026)<\/h2>\n<p>Die Tabelle zeigt jedes robots.txt-Token, wer es betreibt, was es laut Betreiber tut und ob der Betreiber angibt, dass es robots.txt befolgt. \u201eTyp\u201c hat drei Kategorien: <strong>Training<\/strong> (sammelt Inhalte, die Modelle trainieren k\u00f6nnen), <strong>Suche<\/strong> (indexiert Seiten, damit ein KI-Produkt sie sp\u00e4ter zitieren kann) und <strong>Nutzer<\/strong> (ruft eine Seite in Echtzeit ab, weil eine Person gefragt hat). Bots, deren Betreiber keine f\u00fcr uns \u00fcberpr\u00fcfbare Dokumentation ver\u00f6ffentlicht, haben wir weggelassen.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>robots.txt-Token<\/th>\n<th>Betreiber<\/th>\n<th>Typ<\/th>\n<th>Was er tut<\/th>\n<th>Befolgt robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Training<\/td>\n<td>Crawlt Inhalte, die zum Training der Foundation-Modelle von OpenAI genutzt werden k\u00f6nnen.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Suche<\/td>\n<td>Indexiert Seiten, damit sie in den Suchergebnissen von ChatGPT erscheinen k\u00f6nnen.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Nutzer<\/td>\n<td>Besucht eine Seite, wenn ein Nutzer von ChatGPT oder einem Custom GPT eine Frage stellt.<\/td>\n<td>\u201eGilt m\u00f6glicherweise nicht\u201c<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Anzeigenpr\u00fcfung<\/td>\n<td>Pr\u00fcft Zielseiten, die als ChatGPT-Anzeigen eingereicht wurden; nicht f\u00fcr Training genutzt.<\/td>\n<td>Besucht nur eingereichte Seiten<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Training<\/td>\n<td>Sammelt Webinhalte, die zum Training der Claude-Modelle beitragen k\u00f6nnen.<\/td>\n<td>Ja, und beachtet <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Suche<\/td>\n<td>Indexiert Inhalte, um die Suchergebnisse von Claude zu verbessern.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Nutzer<\/td>\n<td>Ruft Seiten ab, wenn ein Claude-Nutzer eine Frage stellt.<\/td>\n<td>Ja, laut Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Steuer-Token<\/td>\n<td>Entscheidet, ob von Google gecrawlte Inhalte Gemini trainieren oder Gemini-Antworten fundieren d\u00fcrfen. Kein eigener Crawler.<\/td>\n<td>Nur Token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Vom Inhaber angefordert<\/td>\n<td>Crawlt Websites, deren Inhaber Vertex AI Agents bauen; kein Einfluss auf die Google-Suche.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Nutzer<\/td>\n<td>Agenten auf Googles Infrastruktur, die im Auftrag eines Nutzers surfen und handeln.<\/td>\n<td>Nutzerausgel\u00f6st: in der Regel nein<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Suche<\/td>\n<td>Indexiert Seiten f\u00fcr die Suchergebnisse von Perplexity; nicht f\u00fcr Training genutzt.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Nutzer<\/td>\n<td>Ruft eine Seite w\u00e4hrend der Perplexity-Sitzung eines Nutzers ab.<\/td>\n<td>\u201eIgnoriert sie in der Regel\u201c<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Steuer-Token<\/td>\n<td>Entscheidet, ob von Applebot gecrawlte Seiten die Foundation-Modelle von Apple trainieren d\u00fcrfen. Crawlt nicht selbst.<\/td>\n<td>Nur Token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Training<\/td>\n<td>Crawlt f\u00fcr Zwecke wie das Training von KI-Modellen oder das Indexieren von Inhalten.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Nutzer<\/td>\n<td>Ruft einzelne Links auf Wunsch eines Nutzers ab, auch f\u00fcr agentische Aufgaben.<\/td>\n<td>\u201eKann sie umgehen\u201c<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Training<\/td>\n<td>Verbessert Produkte und Dienste von Amazon; kann zum Training von Amazons KI-Modellen genutzt werden.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Suche<\/td>\n<td>Indexiert Seiten f\u00fcr Sucherlebnisse wie Alexa; nicht f\u00fcr Training genutzt.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Nutzer<\/td>\n<td>Ruft Live-Informationen ab, um einem Nutzer zu antworten, etwa bei einer Alexa-Anfrage.<\/td>\n<td>\u201eBefolgt evtl. nicht alle\u201c<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Trainingsdaten<\/td>\n<td>Baut das offene Webarchiv von Common Crawl auf, eine verbreitete Quelle f\u00fcr KI-Trainingsdaten.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Training<\/td>\n<td>Crawlt Inhalte, um Datens\u00e4tze f\u00fcr das Training der Mistral-Modelle aufzubauen.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Suche<\/td>\n<td>Indexiert Inhalte f\u00fcr die Mistral-Suche; nicht f\u00fcr Training genutzt.<\/td>\n<td>Ja<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Nutzer<\/td>\n<td>Besucht eine Seite, wenn ein Nutzer Mistrals Assistenten Vibe eine Frage stellt.<\/td>\n<td>Ja, f\u00fcr Nutzeranfragen<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>Suche<\/td>\n<td>Crawlt Seiten in Echtzeit f\u00fcr die KI-gest\u00fctzten Antworten von DuckDuckGo.<\/td>\n<td>Ja (wirkt nach 72 Stunden)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Die Quellen f\u00fcr jede Zeile sind am Ende des Artikels verlinkt. Zitate in der letzten Spalte stammen direkt aus der Dokumentation des Betreibers. Bytespider (ByteDance) fehlt bewusst: Wir haben keine ByteDance-Seite gefunden, die ihn dokumentiert, obwohl 18,5 % der robots.txt-Dateien in unserer Stichprobe ihn nennen. Aus demselben Grund beschreiben wir die lange Reihe von Tokens wie <code>cohere-ai<\/code>, <code>Diffbot<\/code> oder <code>omgili<\/code> nicht; wie oft Websites sie nennen, steht im Datenteil.<\/p>\n<h3>Vollst\u00e4ndige User-Agent-Strings in Ihren Logs<\/h3>\n<p>robots.txt arbeitet mit dem kurzen Token, Ihre Access-Logs zeigen aber den vollst\u00e4ndigen String. Dies sind die Beispiele, die die Betreiber ver\u00f6ffentlichen. Versionsnummern \u00e4ndern sich, also pr\u00fcfen Sie auf das Token, nicht auf den ganzen String.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI weist au\u00dferdem darauf hin, dass GPTBot und OAI-SearchBot beim Abruf Ihrer robots.txt einen <code>robots.txt<\/code>-Marker an den User-Agent anh\u00e4ngen k\u00f6nnen, damit Sie diese Anfragen auch in Logs ohne Pfadangaben unterscheiden k\u00f6nnen.<\/p>\n<h2 id=\"types\">Drei Arten von KI-Crawlern und warum der Unterschied z\u00e4hlt<\/h2>\n<p>\u201eKI-Bots\u201c pauschal als eine Gruppe zu sperren, ist der h\u00e4ufigste Fehler, den wir sehen. Die drei Typen haben unterschiedliche Kosten und Nutzen, und die Betreiber behandeln robots.txt bei jedem anders.<\/p>\n<h3>Trainings-Crawler<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot und MistralAI-Training sammeln Seiten, die in Trainingsdaten f\u00fcr Modelle landen k\u00f6nnen. Wer sie sperrt, verschwindet nicht aus den KI-Suchergebnissen desselben Unternehmens: OpenAI sagt, jede seiner robots.txt-Einstellungen sei unabh\u00e4ngig, Sie k\u00f6nnen also GPTBot sperren und OAI-SearchBot trotzdem erlauben. In unserer Stichprobe sind Trainings-Crawler die am h\u00e4ufigsten gesperrte Gruppe. 17,3 % der robots.txt-Dateien sperren CCBot vollst\u00e4ndig, 16,9 % GPTBot und 15,9 % ClaudeBot.<\/p>\n<h3>KI-Such-Crawler<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index und DuckAssistBot indexieren Seiten, damit ein Assistent sie sp\u00e4ter finden und zitieren kann. Wer sie sperrt, kann aus diesen Antworten herausfallen. Website-Betreiber scheinen das zu wissen: Nur 2,8 % der Dateien sperren OAI-SearchBot vollst\u00e4ndig und 5,8 % PerplexityBot, gegen\u00fcber 16,9 % bei GPTBot.<\/p>\n<h3>Nutzerausgel\u00f6ste Abrufer und Agenten<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User und Google-Agent handeln jeweils f\u00fcr eine einzelne Person, so wie ein Browser. Mehrere Betreiber sagen, dass robots.txt m\u00f6glicherweise nicht gilt, weil ein Mensch die Seite angefordert hat. Genau diese Bots nutzen auch Einkaufs- und Buchungsagenten; wer sie sperrt, kann echte Kunden abweisen. 5,9 % der Dateien in unserer Stichprobe sperren ChatGPT-User vollst\u00e4ndig.<\/p>\n<h3>Steuer-Token, die nicht crawlen<\/h3>\n<p>Google-Extended und Applebot-Extended besuchen Ihre Website nie. Google und Apple crawlen wie gewohnt mit Googlebot und Applebot und pr\u00fcfen dann diese Tokens, um zu entscheiden, ob die Inhalte ihre Modelle trainieren d\u00fcrfen. Laut Google hat eine Sperre von Google-Extended keinen Einfluss auf die Aufnahme oder das Ranking in der Google-Suche. 14,1 % der untersuchten Dateien sperren Google-Extended vollst\u00e4ndig und 13,5 % Applebot-Extended. Google hat au\u00dferdem angek\u00fcndigt, Anfang 2027 das gemeinsame KI-Trainingssignal (<code>user-agent: __usage_ai-training<\/code>) zu unterst\u00fctzen; mehr dazu in unserem <a href=\"\/blog\/de\/robots-txt\/training-opt-out\/robots-txt-ki-training-widerspruch\/\">Leitfaden zum KI-Training-Opt-out in robots.txt<\/a>.<\/p>\n<h3>Alte Tokens, die robots.txt-Dateien immer noch f\u00fcllen<\/h3>\n<p>Die aktuelle Hilfeseite von Anthropic nennt nur ClaudeBot, Claude-User und Claude-SearchBot. Trotzdem nennen noch 15,6 % der untersuchten Dateien <code>anthropic-ai<\/code> und 13,8 % <code>Claude-Web<\/code>. Regeln f\u00fcr diese Namen schaden nicht, aber wenn es Ihre einzigen Anthropic-Regeln sind, decken sie die heute dokumentierten Bots m\u00f6glicherweise nicht ab. Pr\u00fcfen Sie, ob <code>ClaudeBot<\/code> ausdr\u00fccklich genannt wird.<\/p>\n<h2 id=\"what-it-looks-like\">Wie der Zugriff von KI-Crawlern in der Praxis aussieht<\/h2>\n<p>Die Dokumentation der Betreiber ist die ma\u00dfgebliche Quelle f\u00fcr User-Agents. Die Seite von OpenAI zum Beispiel f\u00fchrt jeden Bot mit einem Beispiel-User-Agent-String, Hinweisen zum robots.txt-Marker und einem Link zur ver\u00f6ffentlichten IP-Datei auf.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Dokumentation von OpenAI zu OAI-SearchBot mit Beispiel-User-Agent-String, robots.txt-Marker und ver\u00f6ffentlichter IP-Datei\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>Die Dokumentation von OpenAI zu OAI-SearchBot, aufgenommen am 20. November 2026.<\/figcaption><\/figure>\n<p>Was eine Website tats\u00e4chlich mit diesen Bots macht, ist eine andere Frage. Wir haben sechs Startseiten von unserem Server aus mit einem Chrome-User-Agent, dem GPTBot-User-Agent von OpenAI und einem ClaudeBot-User-Agent abgerufen. Unser Server hat eine Rechenzentrums-IP, die viele Bot-Abwehrsysteme misstrauisch behandeln; von einem Heimanschluss aus k\u00f6nnen die Ergebnisse abweichen.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"curl-Ergebnisse f\u00fcr sechs Websites, abgerufen mit den User-Agents Chrome, GPTBot und ClaudeBot am 20. November 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Gleiche URL, drei User-Agents. Ergebnisse von einer Rechenzentrums-IP, 20. November 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Drei Muster zeigen sich. Reddit lieferte Chrome aus, gab GPTBot aber 403 und ClaudeBot 429 zur\u00fcck: User-Agent-Filterung auf dem Server oder im CDN. Die New York Times gab allen dreien 403 zur\u00fcck, was darauf hindeutet, dass die Sperre auf unserer IP oder dem Fingerabdruck der Anfrage beruhte, nicht auf dem User-Agent. Und bbc.com lieferte GPTBot ein 200, obwohl die robots.txt GPTBot, ClaudeBot, CCBot, PerplexityBot und mindestens f\u00fcnf weitere KI-Tokens sperrt. Klarer l\u00e4sst sich nicht zeigen, dass robots.txt bittet und nicht durchsetzt. Amazon beantwortete alle drei mit einem 202 und leerem Inhalt, einer Zwischenseite zur Pr\u00fcfung statt einer echten Seite.<\/p>\n<p>Der Eintrag jeder Website im Online Web Directory h\u00e4lt diese beiden Ebenen getrennt: ob Agenten die Website erreichen und was ihre robots.txt sagt.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Eintrag im Online Web Directory f\u00fcr bbc.com: offen f\u00fcr Agenten, keine Bot-Sperre, robots.txt beschr\u00e4nkt einige Pfade\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Der OWD-Eintrag f\u00fcr bbc.com: offen f\u00fcr Agenten, robots.txt beschr\u00e4nkt einige Pfade.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">So pr\u00fcfen Sie, welche KI-Crawler Ihre Website erreichen<\/h2>\n<h3>1. Die robots.txt-Gruppen f\u00fcr KI-Tokens lesen<\/h3>\n<p>Beginnen Sie mit dem, worum Sie Crawler bitten. Dieser Befehl gibt jede Gruppe aus, die ein g\u00e4ngiges KI-Token nennt, samt der folgenden Zeile:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Echte Ausgabe f\u00fcr bbc.com am 20. November 2026 um 08:09 AEDT (gek\u00fcrzt auf vier der neun Gruppen):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Denken Sie daran: Ein Crawler befolgt nur die spezifischste Gruppe, die zu seinem Token passt. Wenn Sie <code>GPTBot<\/code> in einer eigenen Gruppe nennen, ignoriert er Ihre Regeln unter <code>User-agent: *<\/code> vollst\u00e4ndig; wiederholen Sie gemeinsame Regeln also in der GPTBot-Gruppe.<\/p>\n<h3>2. Testen, wie Ihr Server auf KI-User-Agents reagiert<\/h3>\n<p>robots.txt kann \u201eNein\u201c sagen, w\u00e4hrend Ihr Server trotzdem \u201eJa\u201c sagt, oder umgekehrt. Rufen Sie dieselbe Seite mit verschiedenen User-Agents ab und vergleichen Sie die Statuscodes:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Ersetzen Sie die URL durch Ihre eigene. Ein 403 oder 429 nur f\u00fcr GPTBot bedeutet User-Agent-Filterung. Ein 403 f\u00fcr beide bedeutet meist IP-Reputation oder eine Bot-Pr\u00fcfung. Testen Sie sowohl von einem Heimanschluss als auch von einem Server aus: Echte Crawler kommen von Rechenzentrums-IPs, das Server-Ergebnis liegt also n\u00e4her an dem, was sie sehen.<\/p>\n<h3>3. KI-Crawler in Ihren Access-Logs finden<\/h3>\n<p>Z\u00e4hlen Sie die Zugriffe pro Bot und pr\u00fcfen Sie dann, welche Statuscodes jeder Bot erhielt. Wir haben diese Befehle am 20. November 2026 auf das Access-Log eines Nginx-Testservers angewendet:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>Der zweite Befehl funktioniert mit dem Standardformat \u201ecombined\u201c, in dem der Statuscode auf die Anfragezeile in Anf\u00fchrungszeichen folgt. Ein GPTBot-200 auf <code>\/robots.txt<\/code> plus 403 auf allem anderen ist genau das, was Sie wollen, wenn Sie Trainings-Crawler auf dem Server sperren.<\/p>\n<h3>4. Pr\u00fcfen, ob ein \u201eGPTBot\u201c-Besucher wirklich von OpenAI kommt<\/h3>\n<p>Jeder kann einen GPTBot-User-Agent senden. OpenAI, Perplexity, DuckDuckGo, Mistral und Google ver\u00f6ffentlichen IP-Listen, pr\u00fcfen Sie also die Quell-IP. Dieses Skript testet eine IP gegen die drei Dateien von OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Ausgabe am 20. November 2026 um 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>Zum Zeitpunkt unseres Tests enthielt <code>gptbot.json<\/code> von OpenAI 18 IPv4-Bereiche mit einem Erstellungsdatum vom 22. September 2026. Rufen Sie die Dateien jedes Mal frisch ab, statt sie fest einzutragen.<\/p>\n<h3>5. Ihre Website im Register nachschlagen<\/h3>\n<p>Online Web Directory pr\u00fcft, wie Websites auf einfache HTTP-Clients reagieren und was ihre robots.txt sagt. Suchen Sie nach Ihrer Domain, zum Beispiel <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> oder <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, oder nutzen Sie den kostenlosen <a href=\"https:\/\/onlinewebdirectory.net\/de\/check\">Bereitschafts-Check<\/a>. Die Liste der <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">Websites, die KI-Agenten sperren<\/a>, zeigt, welche Domains einfache Clients abweisen.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Liste der Websites, die KI-Agenten sperren, im Online Web Directory: 725 von 55.144 gepr\u00fcften Websites sperren einfache HTTP-Clients\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Die Liste der Websites, die KI-Agenten sperren, im Online Web Directory, 20. November 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">KI-Crawler steuern: sechs Methoden<\/h2>\n<p>W\u00e4hlen Sie je nach Ziel. Die meisten Websites wollen den Traffic aus der KI-Suche behalten, beim Training von Fall zu Fall entscheiden und nutzerausgel\u00f6ste Agenten in Ruhe lassen.<\/p>\n<h3>Methode 1: Trainings-Crawler sperren, KI-Suche behalten (robots.txt)<\/h3>\n<p>Das ist die h\u00e4ufigste Richtlinie unter den Websites unserer Stichprobe. F\u00fcgen Sie dies in die <code>\/robots.txt<\/code> im Stammverzeichnis jedes Hosts ein, den Sie betreiben:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Wir haben diese Datei mit Protego getestet, einem Parser nach RFC 9309. Ergebnisse f\u00fcr den Pfad <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Mehrere <code>User-agent<\/code>-Zeilen \u00fcber einem gemeinsamen Regelblock sind nach RFC 9309 zul\u00e4ssig. Beachten Sie, dass die Gruppe der KI-Suche die Regel <code>\/wp-admin\/<\/code> nicht von der Gruppe <code>*<\/code> erbt; erg\u00e4nzen Sie sie dort, wenn Sie sie brauchen.<\/p>\n<h3>Methode 2: Alle dokumentierten KI-Crawler sperren (robots.txt)<\/h3>\n<p>Wenn Sie gar keine KI-Nutzung wollen, nehmen Sie die Such- und Nutzer-Tokens in die Sperrgruppe auf: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> und <code>DuckAssistBot<\/code>. Rechnen Sie damit, aus KI-Antworten zu verschwinden. Und denken Sie daran, dass mehrere nutzerausgel\u00f6ste Abrufer angeben, robots.txt gelte f\u00fcr sie m\u00f6glicherweise nicht; das ist also eine Willenserkl\u00e4rung, keine Mauer.<\/p>\n<h3>Methode 3: Die Sperre in Nginx durchsetzen<\/h3>\n<p>Um Anfragen tats\u00e4chlich abzulehnen, filtern Sie auf dem Server. Diese Konfiguration gibt Trainings-Crawlern auf jedem Pfad au\u00dfer robots.txt einen 403 zur\u00fcck, damit sie Ihre Regeln weiterhin lesen k\u00f6nnen. Der <code>map<\/code>-Block geh\u00f6rt in den <code>http<\/code>-Kontext:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Wir haben sie am 20. November 2026 mit Nginx 1.26.3 getestet: <code>nginx -t<\/code> lief fehlerfrei, GPTBot erhielt 403 auf <code>\/<\/code> und 200 auf <code>\/robots.txt<\/code>, Chrome und OAI-SearchBot erhielten auf beiden 200. Ein einzelnes <code>return<\/code> innerhalb von <code>if<\/code> geh\u00f6rt zu den Verwendungen, die Nginx als sicher dokumentiert.<\/p>\n<h3>Methode 4: Die Sperre in Apache durchsetzen (.htaccess)<\/h3>\n<p>Dieselbe Regel f\u00fcr Apache mit <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Getestet mit Apache 2.4.71 und <code>AllowOverride All<\/code>: GPTBot erhielt 403 auf der Startseite und 200 auf robots.txt; Chrome und OAI-SearchBot erhielten 200. Das Flag <code>[F]<\/code> sendet 403 Forbidden.<\/p>\n<h3>Methode 5: Die KI-Crawler-Richtlinien Ihres CDN nutzen<\/h3>\n<p>Wenn Sie Cloudflare nutzen, m\u00fcssen Sie keine Liste pflegen. Filtern Sie unter Security, Settings nach \u201eBot traffic\u201c und \u00f6ffnen Sie <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare erlaubt getrennte Aktionen f\u00fcr Search-, Agent- und Training-Traffic. Laut Dokumentation steht f\u00fcr neue Domains bei allen drei \u201eAllow (do not block)\u201c voreingestellt, und \u201eDisallow\u201c f\u00fcr Training \u00e4ndert nur die robots.txt, solange Bot Preference Sync nicht aktiv ist. Das Dashboard AI Crawl Control von Cloudflare zeigt au\u00dferdem, welche Crawler kommen und ob sie Ihre robots.txt befolgen. Von den 62.088 Websites in unserem Register zeigten 6.966 (11,2 %) unserem Pr\u00fcfprogramm eine Cloudflare-Pr\u00fcfung.<\/p>\n<h3>Methode 6: Erst pr\u00fcfen, dann erlauben<\/h3>\n<p>User-Agent-Regeln sperren ehrliche Bots und \u00fcbersehen unehrliche. Wenn Sie am Edge sperren, kombinieren Sie die Regel mit einer IP-Pr\u00fcfung (siehe Schritt 4 oben) und lassen Sie verifizierte Such- und Nutzer-Agenten durch. Anthropic warnt, dass eine Sperre seiner IP-Adressen als Opt-out nicht zuverl\u00e4ssig funktioniert, weil ClaudeBot dann Ihre robots.txt nicht lesen kann. Nutzen Sie robots.txt f\u00fcr die Richtlinie und IP-Pr\u00fcfungen, um Betr\u00fcger zu erkennen.<\/p>\n<h2 id=\"owd-data\">Was 2.124 robots.txt-Dateien \u00fcber KI-Crawler verraten<\/h2>\n<p>Am 20. November 2026 zwischen 08:01 und 08:03 AEDT haben wir 3.000 Hosts zuf\u00e4llig aus den 62.088 Websites im <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">offenen Datensatz<\/a> von Online Web Directory gew\u00e4hlt und <code>\/robots.txt<\/code> von unserem Server abgerufen. 2.124 lieferten eine auswertbare Datei. Ein Token gilt als \u201egenannt\u201c, wenn es eine eigene <code>User-agent<\/code>-Zeile hat, und als \u201evollst\u00e4ndig gesperrt\u201c, wenn diese Gruppe <code>Disallow: \/<\/code> ohne <code>Allow: \/<\/code> enth\u00e4lt.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>robots.txt-Token<\/th>\n<th>Genannt<\/th>\n<th>Vollst\u00e4ndig gesperrt<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (veraltet)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (veraltet)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Vier Ergebnisse stechen heraus:<\/p>\n<ul>\n<li><strong>Die meisten Websites erw\u00e4hnen KI-Crawler gar nicht.<\/strong> 629 von 2.124 Dateien (29,6 %) nennen mindestens ein KI-spezifisches Token. Diese nennen dann meist viele: Der Median liegt bei 12 Tokens, und 357 Dateien nennen 10 oder mehr, ein Zeichen f\u00fcr kopierte Sperrlisten.<\/li>\n<li><strong>Training wird gesperrt, Suche nicht.<\/strong> GPTBot wird sechsmal so oft vollst\u00e4ndig gesperrt wie OAI-SearchBot (16,9 % gegen\u00fcber 2,8 %).<\/li>\n<li><strong>robots.txt und tats\u00e4chlicher Zugriff widersprechen sich.<\/strong> Von den 358 Websites, die GPTBot in robots.txt vollst\u00e4ndig sperren, waren 284 (79 %) in der eigenen Zugriffspr\u00fcfung von OWD \u201eoffen\u201c: Nichts auf dem Server hielt einen einfachen Client auf.<\/li>\n<li><strong>Pauschale Verbote sind selten.<\/strong> Nur 13 Dateien (0,6 %) sperren alles f\u00fcr alle User-Agents.<\/li>\n<\/ul>\n<p>Das gesamte Register erz\u00e4hlt dieselbe Geschichte von der anderen Seite. Dies sind die Zugriffsergebnisse f\u00fcr alle 62.088 Websites, zuletzt gepr\u00fcft zwischen dem 11. Oktober und dem 19. November 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Was ein einfacher HTTP-Client vorfand<\/th>\n<th>Websites<\/th>\n<th>Anteil<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Offen<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Bot-Pr\u00fcfung<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Gesperrt<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Ratenbegrenzt<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Anmeldung n\u00f6tig<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Bezahlschranke<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Laden Sie den vollst\u00e4ndigen Datensatz (CC BY 4.0) unter <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> herunter oder lesen Sie den <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">Bericht zum Zugriff von KI-Agenten<\/a>.<\/p>\n<h2 id=\"related-errors\">Verwandte Fehler und Antworten<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Ihr Server, Ihr CDN oder Ihre Firewall hat die Anfrage abgelehnt. Die Ursache ist nie die robots.txt selbst, und der Zustand ist nicht dauerhaft: \u00c4ndern Sie die Regel, und die n\u00e4chste Anfrage kann gelingen.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Ratenbegrenzung. Reddit gab diesen Code auf unsere ClaudeBot-Anfrage zur\u00fcck. Anthropic unterst\u00fctzt <code>Crawl-delay<\/code>, eine sanftere Alternative f\u00fcr ClaudeBot.<\/li>\n<li><strong>202 mit leerem Inhalt oder eine 503-Pr\u00fcfseite.<\/strong> Meist eine JavaScript- oder CAPTCHA-Pr\u00fcfung. Crawler k\u00f6nnen sie nicht l\u00f6sen; f\u00fcr sie ist die Seite gesperrt, auch wenn kein 403 gesendet wurde.<\/li>\n<li><strong>robots.txt liefert 4xx.<\/strong> Nach RFC 9309 bedeutet eine Antwort von 400 bis 499, dass die Datei \u201enicht verf\u00fcgbar\u201c ist und Crawler alles abrufen d\u00fcrfen. In unserer Stichprobe beantworteten 314 von 3.000 Websites (10,5 %) unsere robots.txt-Anfrage mit 403, was ein regelkonformer Crawler als gar keine Regeln lesen w\u00fcrde.<\/li>\n<li><strong>robots.txt liefert 5xx oder antwortet nicht.<\/strong> Nach RFC 9309 m\u00fcssen Crawler dann eine vollst\u00e4ndige Sperre annehmen; ein Ausfall der robots.txt kann also unbemerkt jeden Crawler aussperren, auch Googlebot.<\/li>\n<li><strong>robots.txt gr\u00f6\u00dfer als 500 KiB.<\/strong> RFC 9309 verlangt von Crawlern nur, die ersten 500 KiB zu verarbeiten; Regeln dahinter k\u00f6nnen ignoriert werden.<\/li>\n<\/ul>\n<p>Wenn Sie eine llms.txt-Datei f\u00fcr KI-Agenten ver\u00f6ffentlichen, stellen Sie sicher, dass die erlaubten Bots sie auch abrufen k\u00f6nnen. Unser <a href=\"\/blog\/de\/llms-txt\/basics\/was-ist-llms-txt\/\">Leitfaden zu llms.txt<\/a> zeigt, wie Sie das testen.<\/p>\n<h2 id=\"summary\">Zusammenfassung<\/h2>\n<p>Eine genaue KI-Crawler-Liste beginnt mit der Dokumentation der Betreiber, nicht mit anderen Listen. Heute sind das rund 20 User-Agents von 9 Unternehmen in drei Typen: Trainings-Crawler, KI-Such-Crawler und nutzerausgel\u00f6ste Agenten, dazu zwei Steuer-Token (Google-Extended und Applebot-Extended), die nie crawlen. Die meisten Websites, die handeln, sperren das Training und behalten die Suche, und robots.txt ist nur eine Bitte: Wenn Sie wirklich sperren m\u00fcssen, setzen Sie das auf dem Server oder im CDN durch und pr\u00fcfen Sie IPs.<\/p>\n<p>KI-Agenten schlagen Websites schon heute im Online Web Directory nach, bevor sie sie besuchen. Wenn der Eintrag Ihrer Website falsch ist oder Agenten Ihre API, Ihren MCP-Server oder Ihre KI-Berechtigungen kennen sollen, <a href=\"https:\/\/onlinewebdirectory.net\/de\/claim\">beanspruchen Sie Ihre Website f\u00fcr 25 $<\/a>. Vorher k\u00f6nnen Sie den kostenlosen <a href=\"https:\/\/onlinewebdirectory.net\/de\/check\">Bereitschafts-Check<\/a> ausf\u00fchren.<\/p>\n<h2 id=\"faq\">H\u00e4ufige Fragen<\/h2>\n<h3>Welchen User-Agent nutzt ChatGPT?<\/h3>\n<p>ChatGPT nutzt drei. GPTBot sammelt Trainingsdaten, OAI-SearchBot indexiert Seiten f\u00fcr die ChatGPT-Suche, und ChatGPT-User ruft eine Seite ab, wenn ein Nutzer fragt. Ihre robots.txt-Tokens sind <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> und <code>ChatGPT-User<\/code>.<\/p>\n<h3>Entfernt eine GPTBot-Sperre meine Website aus der ChatGPT-Suche?<\/h3>\n<p>Nein. OpenAI steuert die Suche \u00fcber OAI-SearchBot. Sie k\u00f6nnen GPTBot sperren, um dem Training zu widersprechen, und OAI-SearchBot trotzdem erlauben, damit Ihre Seiten in der ChatGPT-Suche erscheinen und zitiert werden k\u00f6nnen.<\/p>\n<h3>Ist Google-Extended ein Crawler?<\/h3>\n<p>Nein. Laut Google hat Google-Extended keinen eigenen User-Agent. Googlebot \u00fcbernimmt das Crawlen, und das Token Google-Extended steuert nur, ob diese Inhalte f\u00fcr das Training und die Fundierung von Gemini genutzt werden d\u00fcrfen. Auf das Ranking in der Google-Suche hat es keinen Einfluss.<\/p>\n<h3>Halten sich KI-Crawler an robots.txt?<\/h3>\n<p>Die dokumentierten Trainings- und Such-Crawler in dieser Liste sagen Ja. Nutzerausgel\u00f6ste Abrufer wie ChatGPT-User, Perplexity-User und Meta-ExternalFetcher sagen, dass robots.txt m\u00f6glicherweise nicht gilt, weil eine Person die Seite angefordert hat. Undokumentierte Scraper ignorieren sie unter Umst\u00e4nden ganz.<\/p>\n<h3>Woran erkenne ich, ob ein Bot wirklich GPTBot oder ClaudeBot ist?<\/h3>\n<p>Pr\u00fcfen Sie die Quell-IP. OpenAI ver\u00f6ffentlicht Bereiche in <code>gptbot.json<\/code>, <code>searchbot.json<\/code> und <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral und Google ver\u00f6ffentlichen eigene. Ein passender User-Agent von einer nicht gelisteten IP ist ein Betr\u00fcger.<\/p>\n<h2 id=\"sources\">Quellen<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (abgerufen am 20. Nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> und <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> und <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">offener Website-Datensatz<\/a> (62.088 Websites, exportiert am 20. Nov. 2026) und unsere robots.txt-Stichprobe von 3.000 Hosts<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Eine gepr\u00fcfte Liste der KI-Crawler und User-Agents 2026 (GPTBot, ClaudeBot, PerplexityBot und mehr): was jeder tut, getestete Sperrregeln und robots.txt-Daten von 2.124 Websites.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-de","format":"standard","meta":{"footnotes":""},"categories":[530],"tags":[],"class_list":["post-580","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list"],"lang":"de","translations":{"de":580,"en":567,"es":582,"pt":584,"fr":586,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/580","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=580"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/580\/revisions"}],"predecessor-version":[{"id":581,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/580\/revisions\/581"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=580"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=580"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=580"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}