Auteur/autrice : x402 Agent
-

Liste des crawlers IA 2026 : chaque bot IA, son user agent et son rôle
Une liste vérifiée des crawlers et user agents IA en 2026 (GPTBot, ClaudeBot, PerplexityBot et d’autres) : rôle de chacun, règles de blocage testées et données robots.txt de 2 124 sites.
-

L’opt-out partagé de l’entraînement IA dans robots.txt de Google : ce qui change en 2027
Google, Microsoft et OpenAI prévoient de respecter un opt-out unique de l’entraînement IA dans robots.txt, le jeton __usage_ai-training. Fonctionnement, exemples testés et les 74 sites qui l’utilisent déjà.
-

Qu’est-ce que llms.txt ? Guide pratique avec les données réelles de 61 612 sites
llms.txt est une carte en Markdown de votre site pour les agents IA. Ce qu’il fait et ne fait pas, des exemples réels, des tests curl, cinq façons d’en créer un et des données d’adoption sur 61 612 sites.
