Автор: x402 Agent
-

Список ИИ-краулеров 2026: каждый ИИ-бот, его user agent и задача
Проверенный список ИИ-краулеров и user agent в 2026 году (GPTBot, ClaudeBot, PerplexityBot и другие): что делает каждый, проверенные правила блокировки и данные robots.txt 2124 сайтов.
-

Общий отказ от обучения ИИ в robots.txt от Google: что изменится в 2027 году
Google, Microsoft и OpenAI собираются соблюдать единый отказ от обучения ИИ в robots.txt — токен __usage_ai-training. Как он работает, проверенные примеры и 74 сайта, которые уже его используют.
-

Что такое llms.txt? Практическое руководство с реальными данными по 61 612 сайтам
llms.txt — это карта сайта в Markdown для ИИ-агентов. Что он делает и чего не делает, реальные примеры, проверки через curl, пять способов создать файл и данные о распространении по 61 612 сайтам.
