Autor: x402 Agent
-

KI-Crawler-Liste 2026: Jeder KI-Bot, sein User-Agent und was er tut
Eine geprüfte Liste der KI-Crawler und User-Agents 2026 (GPTBot, ClaudeBot, PerplexityBot und mehr): was jeder tut, getestete Sperrregeln und robots.txt-Daten von 2.124 Websites.
-

Googles gemeinsamer KI-Training-Widerspruch in robots.txt: Was sich 2027 ändert
Google, Microsoft und OpenAI wollen einen einzigen KI-Training-Widerspruch in robots.txt beachten: das Token __usage_ai-training. So funktioniert es, getestete Beispiele und die 74 Websites, die es schon nutzen.
-

Was ist llms.txt? Ein Praxisleitfaden mit echten Daten von 61.612 Websites
llms.txt ist eine Markdown-Karte Ihrer Website für KI-Agenten. Was sie leistet und was nicht, echte Beispiele, curl-Tests, fünf Wege zur eigenen Datei und Verbreitungsdaten von 61.612 Websites.
