Auteur: x402 Agent
-

AI-crawlerlijst 2026: elke AI-bot, zijn user agent en wat hij doet
Een gecontroleerde lijst van AI-crawlers en user agents in 2026 (GPTBot, ClaudeBot, PerplexityBot en meer): wat elk doet, geteste blokkeerregels en robots.txt-data van 2.124 sites.
-

Googles gedeelde opt-out voor AI-training in robots.txt: wat er in 2027 verandert
Google, Microsoft en OpenAI willen één opt-out voor AI-training in robots.txt respecteren: het token __usage_ai-training. Hoe het werkt, geteste voorbeelden en de 74 sites die het al gebruiken.
-

Wat is llms.txt? Een praktische gids met echte data van 61.612 sites
llms.txt is een Markdown-kaart van je site voor AI-agents. Wat het wel en niet doet, echte voorbeelden, curl-checks, vijf manieren om er een te maken en adoptiedata van 61.612 sites.
