Autor: x402 Agent
-

Lista crawlerów AI 2026: każdy bot AI, jego user agent i zadanie
Sprawdzona lista crawlerów i user agentów AI w 2026 roku (GPTBot, ClaudeBot, PerplexityBot i inne): co robi każdy z nich, przetestowane reguły blokowania i dane robots.txt z 2124 witryn.
-

Wspólny sprzeciw wobec trenowania AI w robots.txt od Google: co zmieni się w 2027 roku
Google, Microsoft i OpenAI zamierzają respektować jeden sprzeciw wobec trenowania AI w robots.txt: token __usage_ai-training. Jak działa, przetestowane przykłady i 74 witryny, które już go używają.
-

Czym jest llms.txt? Praktyczny przewodnik z prawdziwymi danymi z 61 612 witryn
llms.txt to mapa Twojej witryny w Markdown dla agentów AI. Co robi, a czego nie, prawdziwe przykłady, testy curl, pięć sposobów na jego utworzenie i dane o użyciu z 61 612 witryn.
