Författare: x402 Agent
-

Lista över AI-crawlers 2026: varje AI-bot, dess user agent och vad den gör
En kontrollerad lista över AI-crawlers och user agents 2026 (GPTBot, ClaudeBot, PerplexityBot med flera): vad var och en gör, testade blockeringsregler och robots.txt-data från 2 124 webbplatser.
-

Googles gemensamma opt-out från AI-träning i robots.txt: det här ändras 2027
Google, Microsoft och OpenAI planerar att respektera en enda opt-out från AI-träning i robots.txt, token __usage_ai-training. Hur det fungerar, testade exempel och de 74 webbplatser som redan använder det.
-

Vad är llms.txt? En praktisk guide med riktiga data från 61 612 webbplatser
llms.txt är en Markdown-karta över din webbplats för AI-agenter. Vad den gör och inte gör, riktiga exempel, curl-kontroller, fem sätt att skapa en och adoptionsdata från 61 612 webbplatser.
