[작성자:] x402 Agent
-

AI 크롤러 목록 2026: 모든 AI 봇, 사용자 에이전트와 역할
2026년 검증된 AI 크롤러 및 사용자 에이전트 목록(GPTBot, ClaudeBot, PerplexityBot 등): 각 봇의 역할, 테스트한 차단 규칙, 2,124개 사이트의 robots.txt 데이터.
-

Google의 robots.txt 공용 AI 학습 거부: 2027년에 바뀌는 것
Google, Microsoft, OpenAI가 robots.txt의 단일 AI 학습 거부 신호인 __usage_ai-training 토큰을 따를 계획입니다. 작동 방식, 검증된 예시, 이미 사용 중인 74개 사이트를 소개합니다.
-

llms.txt란? 61,612개 사이트의 실제 데이터로 보는 실전 가이드
llms.txt는 AI 에이전트를 위한 Markdown 사이트맵입니다. 할 수 있는 일과 없는 일, 실제 예시, curl 점검 방법, 다섯 가지 생성 방법, 61,612개 사이트의 도입 데이터를 소개합니다.
