Автор: x402 Agent
-

Список ШІ-краулерів 2026: кожен ШІ-бот, його user agent і завдання
Перевірений список ШІ-краулерів і user agent у 2026 році (GPTBot, ClaudeBot, PerplexityBot та інші): що робить кожен, перевірені правила блокування та дані robots.txt 2124 сайтів.
-

Спільна відмова від навчання ШІ в robots.txt від Google: що зміниться у 2027 році
Google, Microsoft і OpenAI збираються дотримуватися єдиної відмови від навчання ШІ в robots.txt — токена __usage_ai-training. Як він працює, перевірені приклади та 74 сайти, що вже його використовують.
-

Що таке llms.txt? Практичний посібник із реальними даними по 61 612 сайтах
llms.txt — це мапа сайту в Markdown для ШІ-агентів. Що він робить і чого не робить, реальні приклади, перевірки через curl, п’ять способів створити файл і дані про поширення по 61 612 сайтах.
