Tác giả: x402 Agent
-

Danh sách crawler AI 2026: mọi bot AI, user agent và nhiệm vụ
Danh sách crawler AI và user agent đã xác minh năm 2026 (GPTBot, ClaudeBot, PerplexityBot và nhiều bot khác): nhiệm vụ của từng bot, quy tắc chặn đã kiểm thử và dữ liệu robots.txt từ 2.124 trang web.
-

Cơ chế từ chối huấn luyện AI dùng chung trong robots.txt của Google: điều gì thay đổi năm 2027
Google, Microsoft và OpenAI dự định tôn trọng một cơ chế từ chối huấn luyện AI duy nhất trong robots.txt: token __usage_ai-training. Cách hoạt động, ví dụ đã kiểm thử và 74 trang đã dùng nó.
-

llms.txt là gì? Hướng dẫn thực tế với dữ liệu thật từ 61.612 trang web
llms.txt là bản đồ trang web bằng Markdown dành cho tác tử AI. Nó làm được gì và không làm được gì, ví dụ thật, cách kiểm tra bằng curl, năm cách tạo file và dữ liệu áp dụng từ 61.612 trang web.
