{"id":618,"date":"2026-11-20T14:17:50","date_gmt":"2026-11-20T03:17:50","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/raichue-ai-crawler\/"},"modified":"2026-11-20T14:18:40","modified_gmt":"2026-11-20T03:18:40","slug":"raichue-ai-crawler","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/th\/ai-crawlers-th\/crawler-list-th\/raichue-ai-crawler\/","title":{"rendered":"\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI Crawler \u0e1b\u0e35 2026: \u0e1a\u0e2d\u0e17 AI \u0e17\u0e38\u0e01\u0e15\u0e31\u0e27 \u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e41\u0e25\u0e30\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48"},"content":{"rendered":"<p>&#8220;\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler&#8221; \u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e40\u0e08\u0e2d\u0e04\u0e31\u0e14\u0e25\u0e2d\u0e01\u0e15\u0e48\u0e2d\u0e01\u0e31\u0e19\u0e21\u0e32 \u0e41\u0e25\u0e30\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e25\u0e49\u0e32\u0e2a\u0e21\u0e31\u0e22\u0e41\u0e25\u0e49\u0e27 \u0e22\u0e31\u0e07\u0e23\u0e30\u0e1a\u0e38 <code>Claude-Web<\/code> \u0e27\u0e48\u0e32\u0e40\u0e1b\u0e47\u0e19\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07 Anthropic \u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1a\u0e2d\u0e17\u0e0a\u0e37\u0e48\u0e2d &#8220;Googlebot-Extended&#8221; \u0e02\u0e36\u0e49\u0e19\u0e21\u0e32\u0e40\u0e2d\u0e07 \u0e2b\u0e23\u0e37\u0e2d\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32 Google-Extended \u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e0b\u0e36\u0e48\u0e07\u0e44\u0e21\u0e48\u0e08\u0e23\u0e34\u0e07 Google-Extended \u0e44\u0e21\u0e48\u0e21\u0e35\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e15\u0e31\u0e27\u0e40\u0e2d\u0e07 \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e43\u0e19 robots.txt \u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19<\/p>\n<p>\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e19\u0e35\u0e49\u0e15\u0e48\u0e32\u0e07\u0e2d\u0e2d\u0e01\u0e44\u0e1b\u0e2a\u0e2d\u0e07\u0e02\u0e49\u0e2d \u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e38\u0e01\u0e15\u0e31\u0e27\u0e14\u0e49\u0e32\u0e19\u0e25\u0e48\u0e32\u0e07\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e01\u0e31\u0e1a\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e2d\u0e07 \u0e13 \u0e27\u0e31\u0e19\u0e17\u0e35\u0e48 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026 \u0e41\u0e25\u0e30\u0e40\u0e23\u0e32\u0e27\u0e31\u0e14\u0e27\u0e48\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e08\u0e23\u0e34\u0e07\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34\u0e15\u0e48\u0e2d\u0e1a\u0e2d\u0e17\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23 \u0e42\u0e14\u0e22\u0e14\u0e36\u0e07 robots.txt \u0e08\u0e32\u0e01 3,000 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e48\u0e21\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e17\u0e30\u0e40\u0e1a\u0e35\u0e22\u0e19\u0e02\u0e2d\u0e07 Online Web Directory \u0e41\u0e25\u0e49\u0e27\u0e19\u0e31\u0e1a\u0e27\u0e48\u0e32\u0e21\u0e35\u0e01\u0e32\u0e23\u0e23\u0e30\u0e1a\u0e38\u0e0a\u0e37\u0e48\u0e2d\u0e41\u0e25\u0e30\u0e1a\u0e25\u0e47\u0e2d\u0e01 AI crawler \u0e15\u0e31\u0e27\u0e43\u0e14\u0e1a\u0e49\u0e32\u0e07 \u0e04\u0e38\u0e13\u0e22\u0e31\u0e07\u0e08\u0e30\u0e44\u0e14\u0e49\u0e01\u0e0e robots.txt, Nginx \u0e41\u0e25\u0e30 Apache \u0e17\u0e35\u0e48\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e49\u0e27 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e2a\u0e04\u0e23\u0e34\u0e1b\u0e15\u0e4c\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32\u0e1c\u0e39\u0e49\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e17\u0e35\u0e48\u0e2d\u0e49\u0e32\u0e07\u0e27\u0e48\u0e32\u0e40\u0e1b\u0e47\u0e19 &#8220;GPTBot&#8221; \u0e21\u0e32\u0e08\u0e32\u0e01 OpenAI \u0e08\u0e23\u0e34\u0e07\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48<\/p>\n<div class=\"owd-definition\">\n<p><strong>\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler \u0e04\u0e37\u0e2d\u0e2d\u0e30\u0e44\u0e23?<\/strong> \u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler \u0e04\u0e37\u0e2d\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e02\u0e2d\u0e07\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17 AI \u0e43\u0e0a\u0e49\u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a \u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 robots.txt \u0e02\u0e2d\u0e07\u0e41\u0e15\u0e48\u0e25\u0e30\u0e1a\u0e2d\u0e17 \u0e2a\u0e15\u0e23\u0e34\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e41\u0e25\u0e30\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e02\u0e2d\u0e07\u0e21\u0e31\u0e19 \u0e44\u0e14\u0e49\u0e41\u0e01\u0e48 \u0e40\u0e01\u0e47\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e2b\u0e23\u0e37\u0e2d\u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e02\u0e2d \u0e04\u0e38\u0e13\u0e43\u0e0a\u0e49\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e19\u0e35\u0e49\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e02\u0e35\u0e22\u0e19\u0e01\u0e0e robots.txt \u0e2d\u0e48\u0e32\u0e19\u0e25\u0e47\u0e2d\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c \u0e41\u0e25\u0e30\u0e15\u0e31\u0e49\u0e07\u0e19\u0e42\u0e22\u0e1a\u0e32\u0e22\u0e44\u0e1f\u0e23\u0e4c\u0e27\u0e2d\u0e25\u0e25\u0e4c<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">\u0e20\u0e32\u0e1e\u0e23\u0e27\u0e21 AI crawler<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>\u0e04\u0e33\u0e16\u0e32\u0e21<\/th>\n<th>\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e2a\u0e31\u0e49\u0e19 \u0e46<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>AI crawler \u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e21\u0e35\u0e01\u0e35\u0e48\u0e15\u0e31\u0e27?<\/td>\n<td>\u0e1b\u0e23\u0e30\u0e21\u0e32\u0e13 20 \u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e21\u0e35\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e08\u0e32\u0e01\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 9 \u0e23\u0e32\u0e22 (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral) \u0e1a\u0e27\u0e01 DuckDuckGo \u0e41\u0e25\u0e30\u0e1a\u0e2d\u0e17\u0e02\u0e19\u0e32\u0e14\u0e40\u0e25\u0e47\u0e01\u0e2d\u0e35\u0e01\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01<\/td>\n<\/tr>\n<tr>\n<td>\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e2b\u0e25\u0e31\u0e01<\/td>\n<td>\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e41\u0e25\u0e30\u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19 Google-Extended \u0e41\u0e25\u0e30 Applebot-Extended \u0e40\u0e1b\u0e47\u0e19\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c<\/td>\n<\/tr>\n<tr>\n<td>\u0e1a\u0e2d\u0e17\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e17\u0e33\u0e15\u0e32\u0e21 robots.txt \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/td>\n<td>\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e17\u0e35\u0e48\u0e21\u0e35\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e17\u0e33\u0e15\u0e32\u0e21 \u0e2a\u0e48\u0e27\u0e19\u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19 (ChatGPT-User, Perplexity-User, \u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19\u0e02\u0e2d\u0e07 Google, Meta-ExternalFetcher) \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32 robots.txt \u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25<\/td>\n<\/tr>\n<tr>\n<td>robots.txt \u0e2a\u0e48\u0e07\u0e04\u0e37\u0e19 403 \u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/td>\n<td>\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49 robots.txt \u0e40\u0e1b\u0e47\u0e19\u0e04\u0e33\u0e02\u0e2d \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e01\u0e38\u0e0d\u0e41\u0e08\u0e25\u0e47\u0e2d\u0e01 \u0e23\u0e2b\u0e31\u0e2a 403 \u0e21\u0e32\u0e08\u0e32\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c CDN \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e1f\u0e23\u0e4c\u0e27\u0e2d\u0e25\u0e25\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13<\/td>\n<\/tr>\n<tr>\n<td>\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e1a\u0e2d\u0e17\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e1a\u0e48\u0e2d\u0e22\u0e41\u0e04\u0e48\u0e44\u0e2b\u0e19?<\/td>\n<td>\u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e27\u0e31\u0e19\u0e17\u0e35\u0e48 20 \u0e1e.\u0e22. 2026 \u0e44\u0e1f\u0e25\u0e4c robots.txt 16.9% \u0e1a\u0e25\u0e47\u0e2d\u0e01 GPTBot \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e41\u0e15\u0e48\u0e21\u0e35\u0e40\u0e1e\u0e35\u0e22\u0e07 2.8% \u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01 OAI-SearchBot \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14<\/td>\n<\/tr>\n<tr>\n<td>\u0e08\u0e30\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e1a\u0e2d\u0e17\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23?<\/td>\n<td>\u0e40\u0e17\u0e35\u0e22\u0e1a IP \u0e02\u0e2d\u0e07\u0e04\u0e33\u0e02\u0e2d\u0e01\u0e31\u0e1a\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23 IP \u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48 (\u0e40\u0e0a\u0e48\u0e19 <code>https:\/\/openai.com\/gptbot.json<\/code>) \u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e1b\u0e25\u0e2d\u0e21\u0e41\u0e1b\u0e25\u0e07\u0e44\u0e14\u0e49\u0e07\u0e48\u0e32\u0e22\u0e21\u0e32\u0e01<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler (\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026)<\/h2>\n<p>\u0e15\u0e32\u0e23\u0e32\u0e07\u0e14\u0e49\u0e32\u0e19\u0e25\u0e48\u0e32\u0e07\u0e41\u0e2a\u0e14\u0e07\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 robots.txt \u0e41\u0e15\u0e48\u0e25\u0e30\u0e15\u0e31\u0e27 \u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 \u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e15\u0e32\u0e21\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e23\u0e30\u0e1a\u0e38 \u0e41\u0e25\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32\u0e1a\u0e2d\u0e17\u0e17\u0e33\u0e15\u0e32\u0e21 robots.txt \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 &#8220;\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17&#8221; \u0e41\u0e1a\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e32\u0e21\u0e01\u0e25\u0e38\u0e48\u0e21: <strong>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/strong> (\u0e40\u0e01\u0e47\u0e1a\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25) <strong>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/strong> (\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e1c\u0e25\u0e34\u0e15\u0e20\u0e31\u0e13\u0e11\u0e4c AI \u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e44\u0e14\u0e49\u0e20\u0e32\u0e22\u0e2b\u0e25\u0e31\u0e07) \u0e41\u0e25\u0e30 <strong>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/strong> (\u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e21\u0e35\u0e04\u0e19\u0e02\u0e2d) \u0e40\u0e23\u0e32\u0e44\u0e21\u0e48\u0e23\u0e27\u0e21\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e17\u0e35\u0e48\u0e40\u0e23\u0e32\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e44\u0e14\u0e49<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 robots.txt<\/th>\n<th>\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23<\/th>\n<th>\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17<\/th>\n<th>\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48<\/th>\n<th>\u0e17\u0e33\u0e15\u0e32\u0e21 robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e02\u0e2d\u0e07 OpenAI<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e1b\u0e23\u0e32\u0e01\u0e0f\u0e43\u0e19\u0e1c\u0e25\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 ChatGPT<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 ChatGPT \u0e2b\u0e23\u0e37\u0e2d Custom GPT \u0e16\u0e32\u0e21\u0e04\u0e33\u0e16\u0e32\u0e21<\/td>\n<td>&#8220;\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e42\u0e06\u0e29\u0e13\u0e32<\/td>\n<td>\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e19\u0e14\u0e34\u0e49\u0e07\u0e40\u0e1e\u0e08\u0e17\u0e35\u0e48\u0e2a\u0e48\u0e07\u0e21\u0e32\u0e40\u0e1b\u0e47\u0e19\u0e42\u0e06\u0e29\u0e13\u0e32\u0e43\u0e19 ChatGPT \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e2a\u0e48\u0e07\u0e21\u0e32<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e40\u0e01\u0e47\u0e1a\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 Claude<\/td>\n<td>\u0e43\u0e0a\u0e48 \u0e41\u0e25\u0e30\u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e1c\u0e25\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 Claude<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 Claude \u0e16\u0e32\u0e21\u0e04\u0e33\u0e16\u0e32\u0e21<\/td>\n<td>\u0e43\u0e0a\u0e48 \u0e15\u0e32\u0e21\u0e17\u0e35\u0e48 Anthropic \u0e23\u0e30\u0e1a\u0e38<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21<\/td>\n<td>\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e27\u0e48\u0e32\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e17\u0e35\u0e48 Google \u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01 Gemini \u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e1b\u0e47\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e02\u0e2d\u0e07 Gemini \u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e44\u0e21\u0e48\u0e21\u0e35\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e41\u0e22\u0e01<\/td>\n<td>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>\u0e15\u0e32\u0e21\u0e04\u0e33\u0e02\u0e2d\u0e02\u0e2d\u0e07\u0e40\u0e08\u0e49\u0e32\u0e02\u0e2d\u0e07<\/td>\n<td>\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e08\u0e49\u0e32\u0e02\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e23\u0e49\u0e32\u0e07 Vertex AI Agents \u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e15\u0e48\u0e2d Google Search<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e1a\u0e19\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e02\u0e2d\u0e07 Google \u0e17\u0e35\u0e48\u0e17\u0e48\u0e2d\u0e07\u0e40\u0e27\u0e47\u0e1a\u0e41\u0e25\u0e30\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e01\u0e32\u0e23\u0e15\u0e32\u0e21\u0e04\u0e33\u0e02\u0e2d\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19: \u0e42\u0e14\u0e22\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b\u0e44\u0e21\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1c\u0e25\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 Perplexity \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e40\u0e0b\u0e2a\u0e0a\u0e31\u0e19 Perplexity \u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>&#8220;\u0e42\u0e14\u0e22\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b\u0e44\u0e21\u0e48\u0e2a\u0e19\u0e43\u0e08&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21<\/td>\n<td>\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e27\u0e48\u0e32\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e17\u0e35\u0e48 Applebot \u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e02\u0e2d\u0e07 Apple \u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e2d\u0e07<\/td>\n<td>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 \u0e40\u0e0a\u0e48\u0e19 \u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 AI \u0e2b\u0e23\u0e37\u0e2d\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e14\u0e36\u0e07\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e41\u0e15\u0e48\u0e25\u0e30\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e15\u0e32\u0e21\u0e04\u0e33\u0e02\u0e2d\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e07\u0e32\u0e19\u0e41\u0e1a\u0e1a\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c<\/td>\n<td>&#8220;\u0e2d\u0e32\u0e08\u0e02\u0e49\u0e32\u0e21\u0e44\u0e14\u0e49&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e1c\u0e25\u0e34\u0e15\u0e20\u0e31\u0e13\u0e11\u0e4c\u0e41\u0e25\u0e30\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e02\u0e2d\u0e07 Amazon \u0e2d\u0e32\u0e08\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 AI \u0e02\u0e2d\u0e07 Amazon<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e30\u0e2a\u0e1a\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32 \u0e40\u0e0a\u0e48\u0e19 Alexa \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2a\u0e14\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e15\u0e2d\u0e1a\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e40\u0e0a\u0e48\u0e19 \u0e04\u0e33\u0e16\u0e32\u0e21\u0e17\u0e35\u0e48\u0e16\u0e32\u0e21 Alexa<\/td>\n<td>&#8220;\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e17\u0e33\u0e15\u0e32\u0e21\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e04\u0e25\u0e31\u0e07\u0e40\u0e27\u0e47\u0e1a\u0e41\u0e1a\u0e1a\u0e40\u0e1b\u0e34\u0e14 Common Crawl \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 AI \u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e01\u0e31\u0e19\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 Mistral<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 Mistral \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/td>\n<td>\u0e43\u0e0a\u0e48<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<td>\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e16\u0e32\u0e21\u0e1c\u0e39\u0e49\u0e0a\u0e48\u0e27\u0e22 Vibe \u0e02\u0e2d\u0e07 Mistral<\/td>\n<td>\u0e43\u0e0a\u0e48 \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e04\u0e33\u0e02\u0e2d\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32<\/td>\n<td>\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49 AI \u0e0a\u0e48\u0e27\u0e22\u0e02\u0e2d\u0e07 DuckDuckGo<\/td>\n<td>\u0e43\u0e0a\u0e48 (\u0e21\u0e35\u0e1c\u0e25\u0e2b\u0e25\u0e31\u0e07 72 \u0e0a\u0e31\u0e48\u0e27\u0e42\u0e21\u0e07)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e17\u0e35\u0e48\u0e21\u0e32\u0e02\u0e2d\u0e07\u0e17\u0e38\u0e01\u0e41\u0e16\u0e27\u0e21\u0e35\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e2d\u0e22\u0e39\u0e48\u0e17\u0e49\u0e32\u0e22\u0e1a\u0e17\u0e04\u0e27\u0e32\u0e21\u0e19\u0e35\u0e49 \u0e02\u0e49\u0e2d\u0e04\u0e27\u0e32\u0e21\u0e17\u0e35\u0e48\u0e22\u0e01\u0e21\u0e32\u0e43\u0e19\u0e04\u0e2d\u0e25\u0e31\u0e21\u0e19\u0e4c\u0e2a\u0e38\u0e14\u0e17\u0e49\u0e32\u0e22\u0e21\u0e32\u0e08\u0e32\u0e01\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e14\u0e22\u0e15\u0e23\u0e07 \u0e40\u0e23\u0e32\u0e15\u0e31\u0e49\u0e07\u0e43\u0e08\u0e44\u0e21\u0e48\u0e43\u0e2a\u0e48 Bytespider (ByteDance) \u0e40\u0e1e\u0e23\u0e32\u0e30\u0e44\u0e21\u0e48\u0e1e\u0e1a\u0e2b\u0e19\u0e49\u0e32\u0e02\u0e2d\u0e07 ByteDance \u0e17\u0e35\u0e48\u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22\u0e1a\u0e2d\u0e17\u0e19\u0e35\u0e49 \u0e41\u0e21\u0e49\u0e27\u0e48\u0e32\u0e44\u0e1f\u0e25\u0e4c robots.txt \u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 18.5% \u0e08\u0e30\u0e23\u0e30\u0e1a\u0e38\u0e0a\u0e37\u0e48\u0e2d\u0e21\u0e31\u0e19\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e14\u0e49\u0e27\u0e22\u0e40\u0e2b\u0e15\u0e38\u0e1c\u0e25\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e40\u0e23\u0e32\u0e08\u0e36\u0e07\u0e44\u0e21\u0e48\u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e1e\u0e1a\u0e19\u0e49\u0e2d\u0e22\u0e2d\u0e22\u0e48\u0e32\u0e07 <code>cohere-ai<\/code>, <code>Diffbot<\/code> \u0e2b\u0e23\u0e37\u0e2d <code>omgili<\/code> \u0e04\u0e38\u0e13\u0e08\u0e30\u0e40\u0e2b\u0e47\u0e19\u0e27\u0e48\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e23\u0e30\u0e1a\u0e38\u0e0a\u0e37\u0e48\u0e2d\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e1a\u0e48\u0e2d\u0e22\u0e41\u0e04\u0e48\u0e44\u0e2b\u0e19\u0e43\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25<\/p>\n<h3>\u0e2a\u0e15\u0e23\u0e34\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e41\u0e1a\u0e1a\u0e40\u0e15\u0e47\u0e21\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e08\u0e30\u0e40\u0e2b\u0e47\u0e19\u0e43\u0e19\u0e25\u0e47\u0e2d\u0e01<\/h3>\n<p>robots.txt \u0e08\u0e31\u0e1a\u0e04\u0e39\u0e48\u0e14\u0e49\u0e27\u0e22\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e2a\u0e31\u0e49\u0e19 \u0e46 \u0e41\u0e15\u0e48\u0e25\u0e47\u0e2d\u0e01\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e08\u0e30\u0e41\u0e2a\u0e14\u0e07\u0e2a\u0e15\u0e23\u0e34\u0e07\u0e41\u0e1a\u0e1a\u0e40\u0e15\u0e47\u0e21 \u0e19\u0e35\u0e48\u0e04\u0e37\u0e2d\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48 \u0e2b\u0e21\u0e32\u0e22\u0e40\u0e25\u0e02\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e0a\u0e31\u0e19\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e44\u0e14\u0e49 \u0e08\u0e36\u0e07\u0e04\u0e27\u0e23\u0e08\u0e31\u0e1a\u0e04\u0e39\u0e48\u0e14\u0e49\u0e27\u0e22\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e17\u0e31\u0e49\u0e07\u0e2a\u0e15\u0e23\u0e34\u0e07<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI \u0e22\u0e31\u0e07\u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32 GPTBot \u0e41\u0e25\u0e30 OAI-SearchBot \u0e2d\u0e32\u0e08\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2b\u0e21\u0e32\u0e22 <code>robots.txt<\/code> \u0e43\u0e19\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e14\u0e36\u0e07\u0e44\u0e1f\u0e25\u0e4c robots.txt \u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e41\u0e22\u0e01\u0e04\u0e33\u0e02\u0e2d\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19\u0e44\u0e14\u0e49\u0e43\u0e19\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01\u0e1e\u0e32\u0e18<\/p>\n<h2 id=\"types\">AI crawler \u0e2a\u0e32\u0e21\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17 \u0e41\u0e25\u0e30\u0e40\u0e2b\u0e15\u0e38\u0e43\u0e14\u0e04\u0e27\u0e32\u0e21\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e36\u0e07\u0e2a\u0e33\u0e04\u0e31\u0e0d<\/h2>\n<p>\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01 &#8220;\u0e1a\u0e2d\u0e17 AI&#8221; \u0e23\u0e27\u0e21\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21\u0e40\u0e14\u0e35\u0e22\u0e27\u0e04\u0e37\u0e2d\u0e02\u0e49\u0e2d\u0e1c\u0e34\u0e14\u0e1e\u0e25\u0e32\u0e14\u0e17\u0e35\u0e48\u0e40\u0e23\u0e32\u0e1e\u0e1a\u0e1a\u0e48\u0e2d\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14 \u0e17\u0e31\u0e49\u0e07\u0e2a\u0e32\u0e21\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e21\u0e35\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19 \u0e41\u0e25\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34\u0e15\u0e48\u0e2d robots.txt \u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19\u0e43\u0e19\u0e41\u0e15\u0e48\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17<\/p>\n<h3>\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot \u0e41\u0e25\u0e30 MistralAI-Training \u0e40\u0e01\u0e47\u0e1a\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e01\u0e25\u0e32\u0e22\u0e40\u0e1b\u0e47\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 \u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e04\u0e38\u0e13\u0e2b\u0e32\u0e22\u0e44\u0e1b\u0e08\u0e32\u0e01\u0e1c\u0e25\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e02\u0e2d\u0e07\u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 OpenAI \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e01\u0e32\u0e23\u0e15\u0e31\u0e49\u0e07\u0e04\u0e48\u0e32 robots.txt \u0e41\u0e15\u0e48\u0e25\u0e30\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e34\u0e2a\u0e23\u0e30\u0e15\u0e48\u0e2d\u0e01\u0e31\u0e19 \u0e04\u0e38\u0e13\u0e08\u0e36\u0e07\u0e2b\u0e49\u0e32\u0e21 GPTBot \u0e41\u0e15\u0e48\u0e22\u0e31\u0e07\u0e2d\u0e19\u0e38\u0e0d\u0e32\u0e15 OAI-SearchBot \u0e44\u0e14\u0e49 \u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e21\u0e32\u0e01\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14: \u0e44\u0e1f\u0e25\u0e4c robots.txt 17.3% \u0e2b\u0e49\u0e32\u0e21 CCBot \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 16.9% \u0e2b\u0e49\u0e32\u0e21 GPTBot \u0e41\u0e25\u0e30 15.9% \u0e2b\u0e49\u0e32\u0e21 ClaudeBot<\/p>\n<h3>\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index \u0e41\u0e25\u0e30 DuckAssistBot \u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e1c\u0e39\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e41\u0e25\u0e30\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e44\u0e14\u0e49\u0e20\u0e32\u0e22\u0e2b\u0e25\u0e31\u0e07 \u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e04\u0e38\u0e13\u0e44\u0e21\u0e48\u0e1b\u0e23\u0e32\u0e01\u0e0f\u0e43\u0e19\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e40\u0e08\u0e49\u0e32\u0e02\u0e2d\u0e07\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e14\u0e39\u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e08\u0e30\u0e23\u0e39\u0e49\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e19\u0e35\u0e49: \u0e21\u0e35\u0e40\u0e1e\u0e35\u0e22\u0e07 2.8% \u0e02\u0e2d\u0e07\u0e44\u0e1f\u0e25\u0e4c\u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01 OAI-SearchBot \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e41\u0e25\u0e30 5.8% \u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01 PerplexityBot \u0e40\u0e17\u0e35\u0e22\u0e1a\u0e01\u0e31\u0e1a 16.9% \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a GPTBot<\/p>\n<h3>\u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e41\u0e25\u0e30\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User \u0e41\u0e25\u0e30 Google-Agent \u0e17\u0e33\u0e07\u0e32\u0e19\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e04\u0e19\u0e04\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e43\u0e19\u0e41\u0e15\u0e48\u0e25\u0e30\u0e04\u0e23\u0e31\u0e49\u0e07 \u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e40\u0e1a\u0e23\u0e32\u0e27\u0e4c\u0e40\u0e0b\u0e2d\u0e23\u0e4c \u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e32\u0e22\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32 robots.txt \u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e21\u0e19\u0e38\u0e29\u0e22\u0e4c\u0e40\u0e1b\u0e47\u0e19\u0e1c\u0e39\u0e49\u0e02\u0e2d\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a \u0e1a\u0e2d\u0e17\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e22\u0e31\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e0a\u0e49\u0e2d\u0e1b\u0e1b\u0e34\u0e49\u0e07\u0e41\u0e25\u0e30\u0e08\u0e2d\u0e07\u0e43\u0e0a\u0e49 \u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e08\u0e36\u0e07\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e25\u0e39\u0e01\u0e04\u0e49\u0e32\u0e08\u0e23\u0e34\u0e07\u0e2b\u0e31\u0e19\u0e2b\u0e25\u0e31\u0e07\u0e01\u0e25\u0e31\u0e1a \u0e44\u0e1f\u0e25\u0e4c 5.9% \u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e1a\u0e25\u0e47\u0e2d\u0e01 ChatGPT-User \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14<\/p>\n<h3>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25<\/h3>\n<p>Google-Extended \u0e41\u0e25\u0e30 Applebot-Extended \u0e44\u0e21\u0e48\u0e40\u0e04\u0e22\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 Google \u0e41\u0e25\u0e30 Apple \u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e14\u0e49\u0e27\u0e22 Googlebot \u0e41\u0e25\u0e30 Applebot \u0e15\u0e32\u0e21\u0e1b\u0e01\u0e15\u0e34 \u0e41\u0e25\u0e49\u0e27\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e15\u0e31\u0e14\u0e2a\u0e34\u0e19\u0e27\u0e48\u0e32\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e15\u0e32\u0e21\u0e17\u0e35\u0e48 Google \u0e23\u0e30\u0e1a\u0e38 \u0e01\u0e32\u0e23\u0e2b\u0e49\u0e32\u0e21 Google-Extended \u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e15\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e41\u0e2a\u0e14\u0e07\u0e2b\u0e23\u0e37\u0e2d\u0e2d\u0e31\u0e19\u0e14\u0e31\u0e1a\u0e43\u0e19 Google Search \u0e44\u0e1f\u0e25\u0e4c\u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 14.1% \u0e1a\u0e25\u0e47\u0e2d\u0e01 Google-Extended \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e41\u0e25\u0e30 13.5% \u0e1a\u0e25\u0e47\u0e2d\u0e01 Applebot-Extended Google \u0e22\u0e31\u0e07\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32\u0e21\u0e35\u0e41\u0e1c\u0e19\u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a\u0e2a\u0e31\u0e0d\u0e0d\u0e32\u0e13\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 AI \u0e23\u0e48\u0e27\u0e21 (<code>user-agent: __usage_ai-training<\/code>) \u0e43\u0e19\u0e15\u0e49\u0e19\u0e1b\u0e35 2027 \u0e40\u0e23\u0e32\u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22\u0e44\u0e27\u0e49\u0e43\u0e19<a href=\"\/blog\/th\/robots-txt-th\/training-opt-out-th\/robots-txt-patiset-kan-fuek-ai\/\">\u0e04\u0e39\u0e48\u0e21\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e44\u0e21\u0e48\u0e22\u0e34\u0e19\u0e22\u0e2d\u0e21\u0e43\u0e2b\u0e49\u0e1d\u0e36\u0e01 AI \u0e14\u0e49\u0e27\u0e22 robots.txt<\/a><\/p>\n<h3>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e01\u0e48\u0e32\u0e17\u0e35\u0e48\u0e22\u0e31\u0e07\u0e04\u0e07\u0e40\u0e15\u0e47\u0e21\u0e44\u0e1f\u0e25\u0e4c robots.txt<\/h3>\n<p>\u0e2b\u0e19\u0e49\u0e32\u0e0a\u0e48\u0e27\u0e22\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e1b\u0e31\u0e08\u0e08\u0e38\u0e1a\u0e31\u0e19\u0e02\u0e2d\u0e07 Anthropic \u0e23\u0e30\u0e1a\u0e38\u0e40\u0e1e\u0e35\u0e22\u0e07 ClaudeBot, Claude-User \u0e41\u0e25\u0e30 Claude-SearchBot \u0e41\u0e15\u0e48\u0e44\u0e1f\u0e25\u0e4c\u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 15.6% \u0e22\u0e31\u0e07\u0e23\u0e30\u0e1a\u0e38 <code>anthropic-ai<\/code> \u0e41\u0e25\u0e30 13.8% \u0e23\u0e30\u0e1a\u0e38 <code>Claude-Web<\/code> \u0e01\u0e0e\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e0a\u0e37\u0e48\u0e2d\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e44\u0e21\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e31\u0e19\u0e15\u0e23\u0e32\u0e22 \u0e41\u0e15\u0e48\u0e16\u0e49\u0e32\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e0e\u0e40\u0e14\u0e35\u0e22\u0e27\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e21\u0e35\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a Anthropic \u0e01\u0e47\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e04\u0e23\u0e2d\u0e1a\u0e04\u0e25\u0e38\u0e21\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48 Anthropic \u0e23\u0e30\u0e1a\u0e38\u0e43\u0e19\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e1b\u0e31\u0e08\u0e08\u0e38\u0e1a\u0e31\u0e19 \u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e43\u0e2b\u0e49\u0e41\u0e19\u0e48\u0e43\u0e08\u0e27\u0e48\u0e32\u0e21\u0e35\u0e01\u0e32\u0e23\u0e23\u0e30\u0e1a\u0e38 <code>ClaudeBot<\/code> \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e0a\u0e31\u0e14\u0e40\u0e08\u0e19<\/p>\n<h2 id=\"what-it-looks-like\">\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e2d\u0e07 AI crawler \u0e43\u0e19\u0e17\u0e32\u0e07\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34<\/h2>\n<p>\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e04\u0e37\u0e2d\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e40\u0e0a\u0e48\u0e19 \u0e2b\u0e19\u0e49\u0e32\u0e02\u0e2d\u0e07 OpenAI \u0e41\u0e2a\u0e14\u0e07\u0e1a\u0e2d\u0e17\u0e41\u0e15\u0e48\u0e25\u0e30\u0e15\u0e31\u0e27\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e2a\u0e15\u0e23\u0e34\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e2b\u0e21\u0e32\u0e22\u0e40\u0e2b\u0e15\u0e38\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2b\u0e21\u0e32\u0e22 robots.txt \u0e41\u0e25\u0e30\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e44\u0e1f\u0e25\u0e4c IP \u0e17\u0e35\u0e48\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07 OpenAI \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a OAI-SearchBot \u0e41\u0e2a\u0e14\u0e07\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e2a\u0e15\u0e23\u0e34\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2b\u0e21\u0e32\u0e22 robots.txt \u0e41\u0e25\u0e30\u0e44\u0e1f\u0e25\u0e4c IP \u0e17\u0e35\u0e48\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07 OpenAI \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a OAI-SearchBot \u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01\u0e20\u0e32\u0e1e\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026<\/figcaption><\/figure>\n<p>\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e33\u0e01\u0e31\u0e1a\u0e1a\u0e2d\u0e17\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e08\u0e23\u0e34\u0e07 \u0e46 \u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e35\u0e01\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2b\u0e19\u0e36\u0e48\u0e07 \u0e40\u0e23\u0e32\u0e02\u0e2d\u0e2b\u0e19\u0e49\u0e32\u0e41\u0e23\u0e01\u0e2b\u0e01\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e08\u0e32\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e14\u0e49\u0e27\u0e22\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e02\u0e2d\u0e07 Chrome, GPTBot \u0e02\u0e2d\u0e07 OpenAI \u0e41\u0e25\u0e30 ClaudeBot \u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e2d\u0e22\u0e39\u0e48\u0e1a\u0e19 IP \u0e02\u0e2d\u0e07\u0e14\u0e32\u0e15\u0e49\u0e32\u0e40\u0e0b\u0e47\u0e19\u0e40\u0e15\u0e2d\u0e23\u0e4c \u0e0b\u0e36\u0e48\u0e07\u0e23\u0e30\u0e1a\u0e1a\u0e1b\u0e49\u0e2d\u0e07\u0e01\u0e31\u0e19\u0e1a\u0e2d\u0e17\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01\u0e21\u0e2d\u0e07\u0e27\u0e48\u0e32\u0e19\u0e48\u0e32\u0e2a\u0e07\u0e2a\u0e31\u0e22 \u0e1c\u0e25\u0e08\u0e32\u0e01\u0e2d\u0e34\u0e19\u0e40\u0e17\u0e2d\u0e23\u0e4c\u0e40\u0e19\u0e47\u0e15\u0e1a\u0e49\u0e32\u0e19\u0e08\u0e36\u0e07\u0e2d\u0e32\u0e08\u0e15\u0e48\u0e32\u0e07\u0e2d\u0e2d\u0e01\u0e44\u0e1b<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"\u0e1c\u0e25 curl \u0e02\u0e2d\u0e07\u0e2b\u0e01\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e02\u0e2d\u0e14\u0e49\u0e27\u0e22\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c Chrome, GPTBot \u0e41\u0e25\u0e30 ClaudeBot \u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>URL \u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e2a\u0e32\u0e21\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e1c\u0e25\u0e08\u0e32\u0e01 IP \u0e14\u0e32\u0e15\u0e49\u0e32\u0e40\u0e0b\u0e47\u0e19\u0e40\u0e15\u0e2d\u0e23\u0e4c 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026 \u0e40\u0e27\u0e25\u0e32 08:03 AEDT<\/figcaption><\/figure>\n<p>\u0e1e\u0e1a\u0e2a\u0e32\u0e21\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a Reddit \u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23 Chrome \u0e41\u0e15\u0e48\u0e2a\u0e48\u0e07 403 \u0e43\u0e2b\u0e49 GPTBot \u0e41\u0e25\u0e30 429 \u0e43\u0e2b\u0e49 ClaudeBot \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e01\u0e23\u0e2d\u0e07\u0e15\u0e32\u0e21\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2b\u0e23\u0e37\u0e2d CDN The New York Times \u0e2a\u0e48\u0e07 403 \u0e43\u0e2b\u0e49\u0e17\u0e31\u0e49\u0e07\u0e2a\u0e32\u0e21 \u0e41\u0e2a\u0e14\u0e07\u0e27\u0e48\u0e32\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e2d\u0e34\u0e07\u0e08\u0e32\u0e01 IP \u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e2b\u0e23\u0e37\u0e2d\u0e25\u0e32\u0e22\u0e19\u0e34\u0e49\u0e27\u0e21\u0e37\u0e2d\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e02\u0e2d \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e41\u0e25\u0e30 bbc.com \u0e2a\u0e48\u0e07 200 \u0e43\u0e2b\u0e49 GPTBot \u0e41\u0e21\u0e49\u0e27\u0e48\u0e32 robots.txt \u0e08\u0e30\u0e2b\u0e49\u0e32\u0e21 GPTBot, ClaudeBot, CCBot, PerplexityBot \u0e41\u0e25\u0e30\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 AI \u0e2d\u0e37\u0e48\u0e19\u0e2d\u0e35\u0e01\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e19\u0e49\u0e2d\u0e22\u0e2b\u0e49\u0e32\u0e15\u0e31\u0e27 \u0e19\u0e35\u0e48\u0e04\u0e37\u0e2d\u0e2b\u0e25\u0e31\u0e01\u0e10\u0e32\u0e19\u0e17\u0e35\u0e48\u0e0a\u0e31\u0e14\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e27\u0e48\u0e32 robots.txt \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e04\u0e33\u0e02\u0e2d\u0e41\u0e25\u0e30\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e1a\u0e31\u0e07\u0e04\u0e31\u0e1a Amazon \u0e15\u0e2d\u0e1a\u0e17\u0e31\u0e49\u0e07\u0e2a\u0e32\u0e21\u0e14\u0e49\u0e27\u0e22 202 \u0e41\u0e25\u0e30\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e27\u0e48\u0e32\u0e07 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e04\u0e31\u0e48\u0e19\u0e01\u0e25\u0e32\u0e07 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e08\u0e23\u0e34\u0e07<\/p>\n<p>\u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01\u0e02\u0e2d\u0e07 Online Web Directory \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e25\u0e30\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e41\u0e22\u0e01\u0e2a\u0e2d\u0e07\u0e0a\u0e31\u0e49\u0e19\u0e19\u0e35\u0e49\u0e2d\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e01\u0e31\u0e19: \u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e41\u0e25\u0e30 robots.txt \u0e40\u0e02\u0e35\u0e22\u0e19\u0e27\u0e48\u0e32\u0e2d\u0e30\u0e44\u0e23<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"\u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01 Online Web Directory \u0e02\u0e2d\u0e07 bbc.com: \u0e40\u0e1b\u0e34\u0e14\u0e43\u0e2b\u0e49\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e44\u0e21\u0e48\u0e21\u0e35\u0e01\u0e33\u0e41\u0e1e\u0e07\u0e1a\u0e2d\u0e17 robots.txt \u0e08\u0e33\u0e01\u0e31\u0e14\u0e1a\u0e32\u0e07\u0e1e\u0e32\u0e18\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>\u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01 OWD \u0e02\u0e2d\u0e07 bbc.com: \u0e40\u0e1b\u0e34\u0e14\u0e43\u0e2b\u0e49\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e42\u0e14\u0e22 robots.txt \u0e08\u0e33\u0e01\u0e31\u0e14\u0e1a\u0e32\u0e07\u0e1e\u0e32\u0e18<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">\u0e27\u0e34\u0e18\u0e35\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32 AI crawler \u0e15\u0e31\u0e27\u0e43\u0e14\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e44\u0e14\u0e49<\/h2>\n<h3>1. \u0e2d\u0e48\u0e32\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21\u0e43\u0e19 robots.txt \u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 AI<\/h3>\n<p>\u0e40\u0e23\u0e34\u0e48\u0e21\u0e08\u0e32\u0e01\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e02\u0e2d\u0e43\u0e2b\u0e49\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e17\u0e33 \u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e19\u0e35\u0e49\u0e1e\u0e34\u0e21\u0e1e\u0e4c\u0e17\u0e38\u0e01\u0e01\u0e25\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e23\u0e30\u0e1a\u0e38\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 AI \u0e17\u0e35\u0e48\u0e1e\u0e1a\u0e1a\u0e48\u0e2d\u0e22 \u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e1a\u0e23\u0e23\u0e17\u0e31\u0e14\u0e16\u0e31\u0e14\u0e44\u0e1b:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>\u0e1c\u0e25\u0e25\u0e31\u0e1e\u0e18\u0e4c\u0e08\u0e23\u0e34\u0e07\u0e02\u0e2d\u0e07 bbc.com \u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026 \u0e40\u0e27\u0e25\u0e32 08:09 AEDT (\u0e15\u0e31\u0e14\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e2a\u0e35\u0e48\u0e08\u0e32\u0e01\u0e40\u0e01\u0e49\u0e32\u0e01\u0e25\u0e38\u0e48\u0e21):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>\u0e08\u0e33\u0e44\u0e27\u0e49\u0e27\u0e48\u0e32\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e08\u0e30\u0e17\u0e33\u0e15\u0e32\u0e21\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e01\u0e25\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e40\u0e08\u0e32\u0e30\u0e08\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e0b\u0e36\u0e48\u0e07\u0e15\u0e23\u0e07\u0e01\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e02\u0e2d\u0e07\u0e21\u0e31\u0e19 \u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e23\u0e30\u0e1a\u0e38 <code>GPTBot<\/code> \u0e43\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21\u0e02\u0e2d\u0e07\u0e21\u0e31\u0e19\u0e40\u0e2d\u0e07 \u0e21\u0e31\u0e19\u0e08\u0e30\u0e44\u0e21\u0e48\u0e2a\u0e19\u0e43\u0e08\u0e01\u0e0e <code>User-agent: *<\/code> \u0e40\u0e25\u0e22 \u0e14\u0e31\u0e07\u0e19\u0e31\u0e49\u0e19\u0e43\u0e2b\u0e49\u0e43\u0e2a\u0e48\u0e01\u0e0e\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19\u0e0b\u0e49\u0e33\u0e43\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21 GPTBot \u0e14\u0e49\u0e27\u0e22<\/p>\n<h3>2. \u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23<\/h3>\n<p>robots.txt \u0e2d\u0e32\u0e08\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32 &#8220;\u0e44\u0e21\u0e48&#8221; \u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e22\u0e31\u0e07\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32 &#8220;\u0e44\u0e14\u0e49&#8221; \u0e2b\u0e23\u0e37\u0e2d\u0e01\u0e25\u0e31\u0e1a\u0e01\u0e31\u0e19 \u0e02\u0e2d\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e14\u0e49\u0e27\u0e22\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19\u0e41\u0e25\u0e49\u0e27\u0e40\u0e17\u0e35\u0e22\u0e1a\u0e23\u0e2b\u0e31\u0e2a\u0e2a\u0e16\u0e32\u0e19\u0e30:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19 URL \u0e40\u0e1b\u0e47\u0e19\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e16\u0e49\u0e32\u0e21\u0e35 403 \u0e2b\u0e23\u0e37\u0e2d 429 \u0e40\u0e09\u0e1e\u0e32\u0e30 GPTBot \u0e41\u0e1b\u0e25\u0e27\u0e48\u0e32\u0e01\u0e23\u0e2d\u0e07\u0e15\u0e32\u0e21\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c \u0e16\u0e49\u0e32 403 \u0e17\u0e31\u0e49\u0e07\u0e04\u0e39\u0e48 \u0e21\u0e31\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e0a\u0e37\u0e48\u0e2d\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e02\u0e2d\u0e07 IP \u0e2b\u0e23\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e1a\u0e2d\u0e17 \u0e43\u0e2b\u0e49\u0e23\u0e31\u0e19\u0e17\u0e31\u0e49\u0e07\u0e08\u0e32\u0e01\u0e2d\u0e34\u0e19\u0e40\u0e17\u0e2d\u0e23\u0e4c\u0e40\u0e19\u0e47\u0e15\u0e1a\u0e49\u0e32\u0e19\u0e41\u0e25\u0e30\u0e08\u0e32\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e08\u0e23\u0e34\u0e07\u0e21\u0e32\u0e08\u0e32\u0e01 IP \u0e14\u0e32\u0e15\u0e49\u0e32\u0e40\u0e0b\u0e47\u0e19\u0e40\u0e15\u0e2d\u0e23\u0e4c \u0e1c\u0e25\u0e08\u0e32\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e08\u0e36\u0e07\u0e43\u0e01\u0e25\u0e49\u0e40\u0e04\u0e35\u0e22\u0e07\u0e01\u0e31\u0e1a\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e21\u0e31\u0e19\u0e40\u0e2b\u0e47\u0e19\u0e21\u0e32\u0e01\u0e01\u0e27\u0e48\u0e32<\/p>\n<h3>3. \u0e04\u0e49\u0e19\u0e2b\u0e32 AI crawler \u0e43\u0e19\u0e25\u0e47\u0e2d\u0e01\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07<\/h3>\n<p>\u0e19\u0e31\u0e1a\u0e08\u0e33\u0e19\u0e27\u0e19\u0e04\u0e23\u0e31\u0e49\u0e07\u0e15\u0e48\u0e2d\u0e1a\u0e2d\u0e17 \u0e41\u0e25\u0e49\u0e27\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e23\u0e2b\u0e31\u0e2a\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e17\u0e35\u0e48\u0e41\u0e15\u0e48\u0e25\u0e30\u0e1a\u0e2d\u0e17\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a \u0e40\u0e23\u0e32\u0e23\u0e31\u0e19\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e01\u0e31\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c Nginx \u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e2d\u0e07\u0e43\u0e0a\u0e49\u0e01\u0e31\u0e1a\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a\u0e25\u0e47\u0e2d\u0e01 &#8220;combined&#8221; \u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e23\u0e2b\u0e31\u0e2a\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e2d\u0e22\u0e39\u0e48\u0e16\u0e31\u0e14\u0e08\u0e32\u0e01\u0e1a\u0e23\u0e23\u0e17\u0e31\u0e14\u0e04\u0e33\u0e02\u0e2d\u0e43\u0e19\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2b\u0e21\u0e32\u0e22\u0e04\u0e33\u0e1e\u0e39\u0e14 GPTBot \u0e44\u0e14\u0e49 200 \u0e17\u0e35\u0e48 <code>\/robots.txt<\/code> \u0e41\u0e25\u0e30 403 \u0e17\u0e35\u0e48\u0e2d\u0e37\u0e48\u0e19\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e04\u0e37\u0e2d\u0e1c\u0e25\u0e25\u0e31\u0e1e\u0e18\u0e4c\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c<\/p>\n<h3>4. \u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32\u0e1c\u0e39\u0e49\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21 &#8220;GPTBot&#8221; \u0e21\u0e32\u0e08\u0e32\u0e01 OpenAI \u0e08\u0e23\u0e34\u0e07<\/h3>\n<p>\u0e43\u0e04\u0e23\u0e01\u0e47\u0e2a\u0e48\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c GPTBot \u0e44\u0e14\u0e49 OpenAI, Perplexity, DuckDuckGo, Mistral \u0e41\u0e25\u0e30 Google \u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23 IP \u0e14\u0e31\u0e07\u0e19\u0e31\u0e49\u0e19\u0e43\u0e2b\u0e49\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a IP \u0e15\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e2a\u0e04\u0e23\u0e34\u0e1b\u0e15\u0e4c\u0e19\u0e35\u0e49\u0e17\u0e14\u0e2a\u0e2d\u0e1a IP \u0e01\u0e31\u0e1a\u0e44\u0e1f\u0e25\u0e4c\u0e2a\u0e32\u0e21\u0e44\u0e1f\u0e25\u0e4c\u0e02\u0e2d\u0e07 OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>\u0e1c\u0e25\u0e25\u0e31\u0e1e\u0e18\u0e4c\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026 \u0e40\u0e27\u0e25\u0e32 08:12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e40\u0e23\u0e32\u0e17\u0e14\u0e2a\u0e2d\u0e1a \u0e44\u0e1f\u0e25\u0e4c <code>gptbot.json<\/code> \u0e02\u0e2d\u0e07 OpenAI \u0e21\u0e35\u0e0a\u0e48\u0e27\u0e07 IPv4 18 \u0e0a\u0e48\u0e27\u0e07 \u0e42\u0e14\u0e22\u0e21\u0e35\u0e40\u0e27\u0e25\u0e32\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e40\u0e1b\u0e47\u0e19 22 \u0e01\u0e31\u0e19\u0e22\u0e32\u0e22\u0e19 2026 \u0e43\u0e2b\u0e49\u0e14\u0e36\u0e07\u0e44\u0e1f\u0e25\u0e4c\u0e43\u0e2b\u0e21\u0e48\u0e17\u0e38\u0e01\u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e17\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e31\u0e07\u0e04\u0e48\u0e32\u0e44\u0e27\u0e49\u0e43\u0e19\u0e42\u0e04\u0e49\u0e14<\/p>\n<h3>5. \u0e04\u0e49\u0e19\u0e2b\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e43\u0e19\u0e17\u0e30\u0e40\u0e1a\u0e35\u0e22\u0e19<\/h3>\n<p>Online Web Directory \u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c HTTP \u0e18\u0e23\u0e23\u0e21\u0e14\u0e32\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23 \u0e41\u0e25\u0e30 robots.txt \u0e40\u0e02\u0e35\u0e22\u0e19\u0e27\u0e48\u0e32\u0e2d\u0e30\u0e44\u0e23 \u0e04\u0e49\u0e19\u0e2b\u0e32\u0e42\u0e14\u0e40\u0e21\u0e19\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e40\u0e0a\u0e48\u0e19 <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> \u0e2b\u0e23\u0e37\u0e2d <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a> \u0e2b\u0e23\u0e37\u0e2d\u0e23\u0e31\u0e19<a href=\"https:\/\/onlinewebdirectory.net\/th\/check\">\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e04\u0e27\u0e32\u0e21\u0e1e\u0e23\u0e49\u0e2d\u0e21<\/a>\u0e1f\u0e23\u0e35 \u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d<a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI<\/a> \u0e41\u0e2a\u0e14\u0e07\u0e42\u0e14\u0e40\u0e21\u0e19\u0e17\u0e35\u0e48\u0e1b\u0e0f\u0e34\u0e40\u0e2a\u0e18\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c\u0e18\u0e23\u0e23\u0e21\u0e14\u0e32<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI \u0e02\u0e2d\u0e07 Online Web Directory: 725 \u0e08\u0e32\u0e01 55,144 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c HTTP \u0e18\u0e23\u0e23\u0e21\u0e14\u0e32\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI \u0e02\u0e2d\u0e07 Online Web Directory, 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">\u0e27\u0e34\u0e18\u0e35\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21 AI crawler: \u0e2b\u0e01\u0e27\u0e34\u0e18\u0e35<\/h2>\n<p>\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e15\u0e32\u0e21\u0e40\u0e1b\u0e49\u0e32\u0e2b\u0e21\u0e32\u0e22\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e23\u0e31\u0e01\u0e29\u0e32\u0e17\u0e23\u0e32\u0e1f\u0e1f\u0e34\u0e01\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e15\u0e31\u0e14\u0e2a\u0e34\u0e19\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e23\u0e13\u0e35\u0e44\u0e1b \u0e41\u0e25\u0e30\u0e1b\u0e25\u0e48\u0e2d\u0e22\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19\u0e44\u0e27\u0e49\u0e15\u0e32\u0e21\u0e40\u0e14\u0e34\u0e21<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 1: \u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e41\u0e15\u0e48\u0e04\u0e07\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e44\u0e27\u0e49 (robots.txt)<\/h3>\n<p>\u0e19\u0e35\u0e48\u0e04\u0e37\u0e2d\u0e19\u0e42\u0e22\u0e1a\u0e32\u0e22\u0e17\u0e35\u0e48\u0e1e\u0e1a\u0e1a\u0e48\u0e2d\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e40\u0e23\u0e32\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 \u0e40\u0e1e\u0e34\u0e48\u0e21\u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49\u0e43\u0e19 <code>\/robots.txt<\/code> \u0e17\u0e35\u0e48\u0e23\u0e39\u0e17\u0e02\u0e2d\u0e07\u0e17\u0e38\u0e01\u0e42\u0e2e\u0e2a\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>\u0e40\u0e23\u0e32\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e44\u0e1f\u0e25\u0e4c\u0e19\u0e35\u0e49\u0e14\u0e49\u0e27\u0e22 Protego \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e15\u0e31\u0e27\u0e41\u0e22\u0e01\u0e27\u0e34\u0e40\u0e04\u0e23\u0e32\u0e30\u0e2b\u0e4c\u0e15\u0e32\u0e21 RFC 9309 \u0e1c\u0e25\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1e\u0e32\u0e18 <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>\u0e01\u0e32\u0e23\u0e27\u0e32\u0e07\u0e1a\u0e23\u0e23\u0e17\u0e31\u0e14 <code>User-agent<\/code> \u0e2b\u0e25\u0e32\u0e22\u0e1a\u0e23\u0e23\u0e17\u0e31\u0e14\u0e0b\u0e49\u0e2d\u0e19\u0e1a\u0e19\u0e0a\u0e38\u0e14\u0e01\u0e0e\u0e40\u0e14\u0e35\u0e22\u0e27\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e15\u0e32\u0e21 RFC 9309 \u0e42\u0e1b\u0e23\u0e14\u0e17\u0e23\u0e32\u0e1a\u0e27\u0e48\u0e32\u0e01\u0e25\u0e38\u0e48\u0e21\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e0e <code>\/wp-admin\/<\/code> \u0e08\u0e32\u0e01\u0e01\u0e25\u0e38\u0e48\u0e21 <code>*<\/code> \u0e2b\u0e32\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e44\u0e27\u0e49\u0e17\u0e35\u0e48\u0e19\u0e31\u0e48\u0e19\u0e14\u0e49\u0e27\u0e22<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 2: \u0e1a\u0e25\u0e47\u0e2d\u0e01 AI crawler \u0e17\u0e38\u0e01\u0e15\u0e31\u0e27\u0e17\u0e35\u0e48\u0e21\u0e35\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23 (robots.txt)<\/h3>\n<p>\u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e44\u0e21\u0e48\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49 AI \u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e40\u0e25\u0e22 \u0e43\u0e2b\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e41\u0e25\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e43\u0e19\u0e01\u0e25\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e2b\u0e49\u0e32\u0e21: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> \u0e41\u0e25\u0e30 <code>DuckAssistBot<\/code> \u0e40\u0e15\u0e23\u0e35\u0e22\u0e21\u0e43\u0e08\u0e27\u0e48\u0e32\u0e08\u0e30\u0e2b\u0e32\u0e22\u0e44\u0e1b\u0e08\u0e32\u0e01\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e02\u0e2d\u0e07 AI \u0e41\u0e25\u0e30\u0e08\u0e33\u0e44\u0e27\u0e49\u0e27\u0e48\u0e32\u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19\u0e2b\u0e25\u0e32\u0e22\u0e15\u0e31\u0e27\u0e1a\u0e2d\u0e01\u0e27\u0e48\u0e32 robots.txt \u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e01\u0e31\u0e1a\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19 \u0e19\u0e35\u0e48\u0e08\u0e36\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e41\u0e2a\u0e14\u0e07\u0e04\u0e27\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e01\u0e33\u0e41\u0e1e\u0e07<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 3: \u0e1a\u0e31\u0e07\u0e04\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e43\u0e19 Nginx<\/h3>\n<p>\u0e2b\u0e32\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e0f\u0e34\u0e40\u0e2a\u0e18\u0e04\u0e33\u0e02\u0e2d\u0e08\u0e23\u0e34\u0e07 \u0e43\u0e2b\u0e49\u0e01\u0e23\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c \u0e01\u0e32\u0e23\u0e15\u0e31\u0e49\u0e07\u0e04\u0e48\u0e32\u0e19\u0e35\u0e49\u0e2a\u0e48\u0e07 403 \u0e43\u0e2b\u0e49\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e43\u0e19\u0e17\u0e38\u0e01\u0e1e\u0e32\u0e18 \u0e22\u0e01\u0e40\u0e27\u0e49\u0e19 robots.txt \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e22\u0e31\u0e07\u0e2d\u0e48\u0e32\u0e19\u0e01\u0e0e\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e44\u0e14\u0e49 \u0e1a\u0e25\u0e47\u0e2d\u0e01 <code>map<\/code> \u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e04\u0e2d\u0e19\u0e40\u0e17\u0e47\u0e01\u0e0b\u0e4c <code>http<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>\u0e40\u0e23\u0e32\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e01\u0e31\u0e1a Nginx 1.26.3 \u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026: <code>nginx -t<\/code> \u0e1c\u0e48\u0e32\u0e19 GPTBot \u0e44\u0e14\u0e49 403 \u0e17\u0e35\u0e48 <code>\/<\/code> \u0e41\u0e25\u0e30 200 \u0e17\u0e35\u0e48 <code>\/robots.txt<\/code> \u0e02\u0e13\u0e30\u0e17\u0e35\u0e48 Chrome \u0e41\u0e25\u0e30 OAI-SearchBot \u0e44\u0e14\u0e49 200 \u0e17\u0e31\u0e49\u0e07\u0e2a\u0e2d\u0e07\u0e17\u0e35\u0e48 \u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 <code>return<\/code> \u0e40\u0e1e\u0e35\u0e22\u0e07\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e40\u0e14\u0e35\u0e22\u0e27\u0e20\u0e32\u0e22\u0e43\u0e19 <code>if<\/code> \u0e40\u0e1b\u0e47\u0e19\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48 Nginx \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e1b\u0e25\u0e2d\u0e14\u0e20\u0e31\u0e22<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 4: \u0e1a\u0e31\u0e07\u0e04\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e43\u0e19 Apache (.htaccess)<\/h3>\n<p>\u0e01\u0e0e\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a Apache \u0e14\u0e49\u0e27\u0e22 <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e1a\u0e19 Apache 2.4.71 \u0e17\u0e35\u0e48\u0e15\u0e31\u0e49\u0e07 <code>AllowOverride All<\/code>: GPTBot \u0e44\u0e14\u0e49 403 \u0e17\u0e35\u0e48\u0e2b\u0e19\u0e49\u0e32\u0e41\u0e23\u0e01\u0e41\u0e25\u0e30 200 \u0e17\u0e35\u0e48 robots.txt \u0e2a\u0e48\u0e27\u0e19 Chrome \u0e41\u0e25\u0e30 OAI-SearchBot \u0e44\u0e14\u0e49 200 \u0e41\u0e1f\u0e25\u0e47\u0e01 <code>[F]<\/code> \u0e2a\u0e48\u0e07 403 Forbidden<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 5: \u0e43\u0e0a\u0e49\u0e19\u0e42\u0e22\u0e1a\u0e32\u0e22 AI crawler \u0e02\u0e2d\u0e07 CDN<\/h3>\n<p>\u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e43\u0e0a\u0e49 Cloudflare \u0e01\u0e47\u0e44\u0e21\u0e48\u0e15\u0e49\u0e2d\u0e07\u0e14\u0e39\u0e41\u0e25\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e40\u0e2d\u0e07 \u0e43\u0e19\u0e01\u0e32\u0e23\u0e15\u0e31\u0e49\u0e07\u0e04\u0e48\u0e32 Security \u0e43\u0e2b\u0e49\u0e01\u0e23\u0e2d\u0e07\u0e14\u0e49\u0e27\u0e22 &#8220;Bot traffic&#8221; \u0e41\u0e25\u0e49\u0e27\u0e40\u0e1b\u0e34\u0e14 <strong>AI Crawler and Agent access policies<\/strong> Cloudflare \u0e43\u0e2b\u0e49\u0e04\u0e38\u0e13\u0e15\u0e31\u0e49\u0e07\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e41\u0e22\u0e01\u0e01\u0e31\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e17\u0e23\u0e32\u0e1f\u0e1f\u0e34\u0e01 Search, Agent \u0e41\u0e25\u0e30 Training \u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e42\u0e14\u0e40\u0e21\u0e19\u0e43\u0e2b\u0e21\u0e48\u0e21\u0e35\u0e04\u0e48\u0e32\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e40\u0e1b\u0e47\u0e19 &#8220;Allow (do not block)&#8221; \u0e17\u0e31\u0e49\u0e07\u0e2a\u0e32\u0e21\u0e41\u0e1a\u0e1a \u0e41\u0e25\u0e30 &#8220;Disallow&#8221; \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a Training \u0e08\u0e30\u0e41\u0e01\u0e49\u0e44\u0e02\u0e40\u0e1e\u0e35\u0e22\u0e07 robots.txt \u0e40\u0e27\u0e49\u0e19\u0e41\u0e15\u0e48\u0e08\u0e30\u0e40\u0e1b\u0e34\u0e14 Bot Preference Sync \u0e41\u0e14\u0e0a\u0e1a\u0e2d\u0e23\u0e4c\u0e14 AI Crawl Control \u0e02\u0e2d\u0e07 Cloudflare \u0e22\u0e31\u0e07\u0e41\u0e2a\u0e14\u0e07\u0e27\u0e48\u0e32\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e43\u0e14\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e41\u0e25\u0e30\u0e17\u0e33\u0e15\u0e32\u0e21 robots.txt \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e08\u0e32\u0e01 62,088 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e43\u0e19\u0e17\u0e30\u0e40\u0e1a\u0e35\u0e22\u0e19\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 6,966 \u0e41\u0e2b\u0e48\u0e07 (11.2%) \u0e41\u0e2a\u0e14\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e02\u0e2d\u0e07 Cloudflare \u0e15\u0e48\u0e2d\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32<\/p>\n<h3>\u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48 6: \u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e01\u0e48\u0e2d\u0e19 \u0e41\u0e25\u0e49\u0e27\u0e08\u0e36\u0e07\u0e2d\u0e19\u0e38\u0e0d\u0e32\u0e15<\/h3>\n<p>\u0e01\u0e0e\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e0b\u0e37\u0e48\u0e2d\u0e2a\u0e31\u0e15\u0e22\u0e4c\u0e41\u0e25\u0e30\u0e1b\u0e25\u0e48\u0e2d\u0e22\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e0b\u0e37\u0e48\u0e2d\u0e2a\u0e31\u0e15\u0e22\u0e4c\u0e1c\u0e48\u0e32\u0e19\u0e44\u0e1b \u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e35\u0e48 edge \u0e43\u0e2b\u0e49\u0e43\u0e0a\u0e49\u0e01\u0e0e\u0e04\u0e39\u0e48\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08 IP (\u0e14\u0e39\u0e02\u0e31\u0e49\u0e19\u0e15\u0e2d\u0e19\u0e17\u0e35\u0e48 4 \u0e14\u0e49\u0e32\u0e19\u0e1a\u0e19) \u0e41\u0e25\u0e30\u0e2d\u0e19\u0e38\u0e0d\u0e32\u0e15\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e41\u0e25\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e17\u0e35\u0e48\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e49\u0e27 Anthropic \u0e40\u0e15\u0e37\u0e2d\u0e19\u0e27\u0e48\u0e32\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01 IP \u0e02\u0e2d\u0e07\u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17\u0e2d\u0e32\u0e08\u0e43\u0e0a\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e44\u0e21\u0e48\u0e22\u0e34\u0e19\u0e22\u0e2d\u0e21\u0e44\u0e14\u0e49\u0e44\u0e21\u0e48\u0e19\u0e48\u0e32\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e16\u0e37\u0e2d \u0e40\u0e1e\u0e23\u0e32\u0e30\u0e08\u0e30\u0e17\u0e33\u0e43\u0e2b\u0e49 ClaudeBot \u0e2d\u0e48\u0e32\u0e19 robots.txt \u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49 \u0e43\u0e0a\u0e49 robots.txt \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e19\u0e42\u0e22\u0e1a\u0e32\u0e22 \u0e41\u0e25\u0e30\u0e43\u0e0a\u0e49\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08 IP \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e08\u0e31\u0e1a\u0e15\u0e31\u0e27\u0e1b\u0e25\u0e2d\u0e21<\/p>\n<h2 id=\"owd-data\">\u0e44\u0e1f\u0e25\u0e4c robots.txt 2,124 \u0e44\u0e1f\u0e25\u0e4c\u0e1a\u0e2d\u0e01\u0e2d\u0e30\u0e44\u0e23\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a AI crawler<\/h2>\n<p>\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026 \u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07 08:01 \u0e16\u0e36\u0e07 08:03 AEDT \u0e40\u0e23\u0e32\u0e2a\u0e38\u0e48\u0e21\u0e40\u0e25\u0e37\u0e2d\u0e01 3,000 \u0e42\u0e2e\u0e2a\u0e15\u0e4c\u0e08\u0e32\u0e01 62,088 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e43\u0e19<a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1b\u0e34\u0e14<\/a>\u0e02\u0e2d\u0e07 Online Web Directory \u0e41\u0e25\u0e30\u0e14\u0e36\u0e07 <code>\/robots.txt<\/code> \u0e08\u0e32\u0e01\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 \u0e21\u0e35 2,124 \u0e41\u0e2b\u0e48\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e48\u0e07\u0e04\u0e37\u0e19\u0e44\u0e1f\u0e25\u0e4c\u0e17\u0e35\u0e48\u0e41\u0e22\u0e01\u0e27\u0e34\u0e40\u0e04\u0e23\u0e32\u0e30\u0e2b\u0e4c\u0e44\u0e14\u0e49 \u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e08\u0e30\u0e19\u0e31\u0e1a\u0e27\u0e48\u0e32 &#8220;\u0e23\u0e30\u0e1a\u0e38\u0e0a\u0e37\u0e48\u0e2d&#8221; \u0e16\u0e49\u0e32\u0e21\u0e35\u0e1a\u0e23\u0e23\u0e17\u0e31\u0e14 <code>User-agent<\/code> \u0e02\u0e2d\u0e07\u0e15\u0e31\u0e27\u0e40\u0e2d\u0e07 \u0e41\u0e25\u0e30 &#8220;\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14&#8221; \u0e16\u0e49\u0e32\u0e01\u0e25\u0e38\u0e48\u0e21\u0e19\u0e31\u0e49\u0e19\u0e21\u0e35 <code>Disallow: \/<\/code> \u0e42\u0e14\u0e22\u0e44\u0e21\u0e48\u0e21\u0e35 <code>Allow: \/<\/code><\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 robots.txt<\/th>\n<th>\u0e23\u0e30\u0e1a\u0e38\u0e0a\u0e37\u0e48\u0e2d<\/th>\n<th>\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (\u0e40\u0e01\u0e48\u0e32)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (\u0e40\u0e01\u0e48\u0e32)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>\u0e2a\u0e35\u0e48\u0e02\u0e49\u0e2d\u0e04\u0e49\u0e19\u0e1e\u0e1a\u0e17\u0e35\u0e48\u0e42\u0e14\u0e14\u0e40\u0e14\u0e48\u0e19:<\/p>\n<ul>\n<li><strong>\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e44\u0e21\u0e48\u0e1e\u0e39\u0e14\u0e16\u0e36\u0e07 AI crawler \u0e40\u0e25\u0e22<\/strong> 629 \u0e08\u0e32\u0e01 2,124 \u0e44\u0e1f\u0e25\u0e4c (29.6%) \u0e23\u0e30\u0e1a\u0e38\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e09\u0e1e\u0e32\u0e30 AI \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e19\u0e49\u0e2d\u0e22\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e15\u0e31\u0e27 \u0e44\u0e1f\u0e25\u0e4c\u0e17\u0e35\u0e48\u0e23\u0e30\u0e1a\u0e38\u0e21\u0e31\u0e01\u0e23\u0e30\u0e1a\u0e38\u0e2b\u0e25\u0e32\u0e22\u0e15\u0e31\u0e27: \u0e04\u0e48\u0e32\u0e21\u0e31\u0e18\u0e22\u0e10\u0e32\u0e19\u0e04\u0e37\u0e2d 12 \u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 \u0e41\u0e25\u0e30 357 \u0e44\u0e1f\u0e25\u0e4c\u0e23\u0e30\u0e1a\u0e38 10 \u0e15\u0e31\u0e27\u0e02\u0e36\u0e49\u0e19\u0e44\u0e1b \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e31\u0e0d\u0e0d\u0e32\u0e13\u0e02\u0e2d\u0e07\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e35\u0e48\u0e04\u0e31\u0e14\u0e25\u0e2d\u0e01\u0e21\u0e32<\/li>\n<li><strong>\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01 \u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e44\u0e21\u0e48\u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01<\/strong> GPTBot \u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14\u0e1a\u0e48\u0e2d\u0e22\u0e01\u0e27\u0e48\u0e32 OAI-SearchBot \u0e2b\u0e01\u0e40\u0e17\u0e48\u0e32 (16.9% \u0e40\u0e17\u0e35\u0e22\u0e1a\u0e01\u0e31\u0e1a 2.8%)<\/li>\n<li><strong>robots.txt \u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e08\u0e23\u0e34\u0e07\u0e44\u0e21\u0e48\u0e15\u0e23\u0e07\u0e01\u0e31\u0e19<\/strong> \u0e08\u0e32\u0e01 358 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1a\u0e25\u0e47\u0e2d\u0e01 GPTBot \u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14\u0e43\u0e19 robots.txt \u0e21\u0e35 284 \u0e41\u0e2b\u0e48\u0e07 (79%) \u0e17\u0e35\u0e48 &#8220;\u0e40\u0e1b\u0e34\u0e14&#8221; \u0e43\u0e19\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e2d\u0e07 OWD \u0e40\u0e2d\u0e07 \u0e2b\u0e21\u0e32\u0e22\u0e04\u0e27\u0e32\u0e21\u0e27\u0e48\u0e32\u0e44\u0e21\u0e48\u0e21\u0e35\u0e2d\u0e30\u0e44\u0e23\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2b\u0e22\u0e38\u0e14\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c\u0e18\u0e23\u0e23\u0e21\u0e14\u0e32\u0e40\u0e25\u0e22<\/li>\n<li><strong>\u0e01\u0e32\u0e23\u0e2b\u0e49\u0e32\u0e21\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14\u0e1e\u0e1a\u0e44\u0e14\u0e49\u0e19\u0e49\u0e2d\u0e22<\/strong> \u0e21\u0e35\u0e40\u0e1e\u0e35\u0e22\u0e07 13 \u0e44\u0e1f\u0e25\u0e4c (0.6%) \u0e17\u0e35\u0e48\u0e2b\u0e49\u0e32\u0e21\u0e17\u0e38\u0e01\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e17\u0e38\u0e01\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c<\/li>\n<\/ul>\n<p>\u0e17\u0e30\u0e40\u0e1a\u0e35\u0e22\u0e19\u0e43\u0e19\u0e20\u0e32\u0e1e\u0e23\u0e27\u0e21\u0e40\u0e25\u0e48\u0e32\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e08\u0e32\u0e01\u0e2d\u0e35\u0e01\u0e14\u0e49\u0e32\u0e19 \u0e19\u0e35\u0e48\u0e04\u0e37\u0e2d\u0e1c\u0e25\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e2d\u0e07\u0e17\u0e31\u0e49\u0e07 62,088 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c \u0e15\u0e23\u0e27\u0e08\u0e25\u0e48\u0e32\u0e2a\u0e38\u0e14\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07 11 \u0e15\u0e38\u0e25\u0e32\u0e04\u0e21\u0e16\u0e36\u0e07 19 \u0e1e\u0e24\u0e28\u0e08\u0e34\u0e01\u0e32\u0e22\u0e19 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>\u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c HTTP \u0e18\u0e23\u0e23\u0e21\u0e14\u0e32\u0e1e\u0e1a<\/th>\n<th>\u0e08\u0e33\u0e19\u0e27\u0e19\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c<\/th>\n<th>\u0e2a\u0e31\u0e14\u0e2a\u0e48\u0e27\u0e19<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0e40\u0e1b\u0e34\u0e14<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>\u0e01\u0e32\u0e23\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e1a\u0e2d\u0e17<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>\u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>\u0e08\u0e33\u0e01\u0e31\u0e14\u0e2d\u0e31\u0e15\u0e23\u0e32<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>\u0e15\u0e49\u0e2d\u0e07\u0e40\u0e02\u0e49\u0e32\u0e2a\u0e39\u0e48\u0e23\u0e30\u0e1a\u0e1a<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>\u0e15\u0e49\u0e2d\u0e07\u0e08\u0e48\u0e32\u0e22\u0e40\u0e07\u0e34\u0e19<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>\u0e14\u0e32\u0e27\u0e19\u0e4c\u0e42\u0e2b\u0e25\u0e14\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e15\u0e47\u0e21 (CC BY 4.0) \u0e08\u0e32\u0e01 <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> \u0e2b\u0e23\u0e37\u0e2d\u0e14\u0e39<a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">\u0e23\u0e32\u0e22\u0e07\u0e32\u0e19\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI<\/a><\/p>\n<h2 id=\"related-errors\">\u0e02\u0e49\u0e2d\u0e1c\u0e34\u0e14\u0e1e\u0e25\u0e32\u0e14\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07<\/h2>\n<ul>\n<li><strong>403 Forbidden<\/strong> \u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c CDN \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e1f\u0e23\u0e4c\u0e27\u0e2d\u0e25\u0e25\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e1b\u0e0f\u0e34\u0e40\u0e2a\u0e18\u0e04\u0e33\u0e02\u0e2d \u0e44\u0e21\u0e48\u0e40\u0e04\u0e22\u0e40\u0e01\u0e34\u0e14\u0e08\u0e32\u0e01 robots.txt \u0e40\u0e2d\u0e07 \u0e41\u0e25\u0e30\u0e44\u0e21\u0e48\u0e16\u0e32\u0e27\u0e23: \u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e01\u0e0e\u0e41\u0e25\u0e49\u0e27\u0e04\u0e33\u0e02\u0e2d\u0e16\u0e31\u0e14\u0e44\u0e1b\u0e2d\u0e32\u0e08\u0e2a\u0e33\u0e40\u0e23\u0e47\u0e08<\/li>\n<li><strong>429 Too Many Requests<\/strong> \u0e01\u0e32\u0e23\u0e08\u0e33\u0e01\u0e31\u0e14\u0e2d\u0e31\u0e15\u0e23\u0e32 Reddit \u0e2a\u0e48\u0e07\u0e23\u0e2b\u0e31\u0e2a\u0e19\u0e35\u0e49\u0e43\u0e2b\u0e49\u0e04\u0e33\u0e02\u0e2d ClaudeBot \u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 Anthropic \u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a <code>Crawl-delay<\/code> \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e17\u0e32\u0e07\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e17\u0e35\u0e48\u0e19\u0e38\u0e48\u0e21\u0e19\u0e27\u0e25\u0e01\u0e27\u0e48\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a ClaudeBot<\/li>\n<li><strong>202 \u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e27\u0e48\u0e32\u0e07 \u0e2b\u0e23\u0e37\u0e2d\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22 503<\/strong> \u0e21\u0e31\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e14\u0e49\u0e27\u0e22 JavaScript \u0e2b\u0e23\u0e37\u0e2d CAPTCHA \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e41\u0e01\u0e49\u0e44\u0e21\u0e48\u0e44\u0e14\u0e49 \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e2b\u0e19\u0e49\u0e32\u0e19\u0e31\u0e49\u0e19\u0e08\u0e36\u0e07\u0e16\u0e39\u0e01\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e41\u0e21\u0e49\u0e44\u0e21\u0e48\u0e21\u0e35\u0e01\u0e32\u0e23\u0e2a\u0e48\u0e07 403<\/li>\n<li><strong>robots.txt \u0e2a\u0e48\u0e07\u0e04\u0e37\u0e19 4xx<\/strong> \u0e15\u0e32\u0e21 RFC 9309 \u0e01\u0e32\u0e23\u0e15\u0e2d\u0e1a\u0e2a\u0e19\u0e2d\u0e07 400-499 \u0e2b\u0e21\u0e32\u0e22\u0e04\u0e27\u0e32\u0e21\u0e27\u0e48\u0e32\u0e44\u0e1f\u0e25\u0e4c &#8220;\u0e44\u0e21\u0e48\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19&#8221; \u0e41\u0e25\u0e30\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e44\u0e14\u0e49\u0e17\u0e38\u0e01\u0e2d\u0e22\u0e48\u0e32\u0e07 \u0e43\u0e19\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32 314 \u0e08\u0e32\u0e01 3,000 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c (10.5%) \u0e15\u0e2d\u0e1a\u0e04\u0e33\u0e02\u0e2d robots.txt \u0e14\u0e49\u0e27\u0e22 403 \u0e0b\u0e36\u0e48\u0e07\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e17\u0e35\u0e48\u0e17\u0e33\u0e15\u0e32\u0e21\u0e01\u0e0e\u0e08\u0e30\u0e15\u0e35\u0e04\u0e27\u0e32\u0e21\u0e27\u0e48\u0e32\u0e44\u0e21\u0e48\u0e21\u0e35\u0e01\u0e0e\u0e40\u0e25\u0e22<\/li>\n<li><strong>robots.txt \u0e2a\u0e48\u0e07\u0e04\u0e37\u0e19 5xx \u0e2b\u0e23\u0e37\u0e2d\u0e2b\u0e21\u0e14\u0e40\u0e27\u0e25\u0e32<\/strong> RFC 9309 \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e15\u0e49\u0e2d\u0e07\u0e16\u0e37\u0e2d\u0e27\u0e48\u0e32\u0e2b\u0e49\u0e32\u0e21\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e01\u0e32\u0e23\u0e25\u0e48\u0e21\u0e02\u0e2d\u0e07 robots.txt \u0e08\u0e36\u0e07\u0e2d\u0e32\u0e08\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e17\u0e38\u0e01\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e40\u0e07\u0e35\u0e22\u0e1a \u0e46 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07 Googlebot<\/li>\n<li><strong>robots.txt \u0e43\u0e2b\u0e0d\u0e48\u0e01\u0e27\u0e48\u0e32 500 KiB<\/strong> RFC 9309 \u0e01\u0e33\u0e2b\u0e19\u0e14\u0e43\u0e2b\u0e49\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e41\u0e22\u0e01\u0e27\u0e34\u0e40\u0e04\u0e23\u0e32\u0e30\u0e2b\u0e4c\u0e40\u0e1e\u0e35\u0e22\u0e07 500 KiB \u0e41\u0e23\u0e01 \u0e01\u0e0e\u0e2b\u0e25\u0e31\u0e07\u0e08\u0e32\u0e01\u0e19\u0e31\u0e49\u0e19\u0e08\u0e36\u0e07\u0e2d\u0e32\u0e08\u0e16\u0e39\u0e01\u0e25\u0e30\u0e40\u0e25\u0e22<\/li>\n<\/ul>\n<p>\u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\u0e44\u0e1f\u0e25\u0e4c llms.txt \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI \u0e43\u0e2b\u0e49\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e27\u0e48\u0e32\u0e1a\u0e2d\u0e17\u0e17\u0e35\u0e48\u0e04\u0e38\u0e13\u0e2d\u0e19\u0e38\u0e0d\u0e32\u0e15\u0e14\u0e36\u0e07\u0e44\u0e1f\u0e25\u0e4c\u0e44\u0e14\u0e49\u0e08\u0e23\u0e34\u0e07 <a href=\"\/blog\/th\/llms-txt-th\/basics-th\/llms-txt-khue-arai\/\">\u0e04\u0e39\u0e48\u0e21\u0e37\u0e2d llms.txt<\/a> \u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32\u0e41\u0e2a\u0e14\u0e07\u0e27\u0e34\u0e18\u0e35\u0e17\u0e14\u0e2a\u0e2d\u0e1a<\/p>\n<h2 id=\"summary\">\u0e2a\u0e23\u0e38\u0e1b<\/h2>\n<p>\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler \u0e17\u0e35\u0e48\u0e41\u0e21\u0e48\u0e19\u0e22\u0e33\u0e40\u0e23\u0e34\u0e48\u0e21\u0e08\u0e32\u0e01\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e2d\u0e07 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e2d\u0e37\u0e48\u0e19 \u0e1b\u0e31\u0e08\u0e08\u0e38\u0e1a\u0e31\u0e19\u0e2b\u0e21\u0e32\u0e22\u0e16\u0e36\u0e07\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e1b\u0e23\u0e30\u0e21\u0e32\u0e13 20 \u0e15\u0e31\u0e27\u0e08\u0e32\u0e01 9 \u0e1a\u0e23\u0e34\u0e29\u0e31\u0e17 \u0e43\u0e19\u0e2a\u0e32\u0e21\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17 \u0e44\u0e14\u0e49\u0e41\u0e01\u0e48 \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e14\u0e49\u0e27\u0e22 AI \u0e41\u0e25\u0e30\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19 \u0e1a\u0e27\u0e01\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e2a\u0e2d\u0e07\u0e15\u0e31\u0e27 (Google-Extended \u0e41\u0e25\u0e30 Applebot-Extended) \u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e40\u0e04\u0e22\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e17\u0e35\u0e48\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e01\u0e32\u0e23\u0e08\u0e30\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e41\u0e25\u0e30\u0e04\u0e07\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e44\u0e27\u0e49 \u0e41\u0e25\u0e30 robots.txt \u0e40\u0e1b\u0e47\u0e19\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e04\u0e33\u0e02\u0e2d \u0e2b\u0e32\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e08\u0e23\u0e34\u0e07 \u0e43\u0e2b\u0e49\u0e1a\u0e31\u0e07\u0e04\u0e31\u0e1a\u0e17\u0e35\u0e48\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2b\u0e23\u0e37\u0e2d CDN \u0e41\u0e25\u0e30\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a IP<\/p>\n<p>\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c AI \u0e04\u0e49\u0e19\u0e2b\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e43\u0e19 Online Web Directory \u0e01\u0e48\u0e2d\u0e19\u0e40\u0e02\u0e49\u0e32\u0e0a\u0e21\u0e2d\u0e22\u0e39\u0e48\u0e41\u0e25\u0e49\u0e27 \u0e2b\u0e32\u0e01\u0e1a\u0e31\u0e19\u0e17\u0e36\u0e01\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e44\u0e21\u0e48\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07 \u0e2b\u0e23\u0e37\u0e2d\u0e04\u0e38\u0e13\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e23\u0e39\u0e49\u0e08\u0e31\u0e01 API \u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c MCP \u0e2b\u0e23\u0e37\u0e2d\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e4c AI \u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 <a href=\"https:\/\/onlinewebdirectory.net\/th\/claim\">\u0e2d\u0e49\u0e32\u0e07\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e4c\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e43\u0e19\u0e23\u0e32\u0e04\u0e32 $25<\/a> \u0e04\u0e38\u0e13\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e23\u0e31\u0e19<a href=\"https:\/\/onlinewebdirectory.net\/th\/check\">\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e04\u0e27\u0e32\u0e21\u0e1e\u0e23\u0e49\u0e2d\u0e21<\/a>\u0e1f\u0e23\u0e35\u0e01\u0e48\u0e2d\u0e19\u0e44\u0e14\u0e49<\/p>\n<h2 id=\"faq\">\u0e04\u0e33\u0e16\u0e32\u0e21\u0e17\u0e35\u0e48\u0e1e\u0e1a\u0e1a\u0e48\u0e2d\u0e22<\/h2>\n<h3>\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e02\u0e2d\u0e07 ChatGPT \u0e04\u0e37\u0e2d\u0e2d\u0e30\u0e44\u0e23?<\/h3>\n<p>ChatGPT \u0e43\u0e0a\u0e49\u0e2a\u0e32\u0e21\u0e15\u0e31\u0e27 GPTBot \u0e40\u0e01\u0e47\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 OAI-SearchBot \u0e08\u0e31\u0e14\u0e17\u0e33\u0e14\u0e31\u0e0a\u0e19\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 ChatGPT \u0e41\u0e25\u0e30 ChatGPT-User \u0e14\u0e36\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e02\u0e2d \u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 robots.txt \u0e02\u0e2d\u0e07\u0e1e\u0e27\u0e01\u0e21\u0e31\u0e19\u0e04\u0e37\u0e2d <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> \u0e41\u0e25\u0e30 <code>ChatGPT-User<\/code><\/p>\n<h3>\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01 GPTBot \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e09\u0e31\u0e19\u0e2b\u0e32\u0e22\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 ChatGPT \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n<p>\u0e44\u0e21\u0e48 OpenAI \u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e1c\u0e48\u0e32\u0e19 OAI-SearchBot \u0e04\u0e38\u0e13\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e2b\u0e49\u0e32\u0e21 GPTBot \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e44\u0e21\u0e48\u0e22\u0e34\u0e19\u0e22\u0e2d\u0e21\u0e43\u0e2b\u0e49\u0e1d\u0e36\u0e01 \u0e41\u0e25\u0e30\u0e22\u0e31\u0e07\u0e2d\u0e19\u0e38\u0e0d\u0e32\u0e15 OAI-SearchBot \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e27\u0e47\u0e1a\u0e1b\u0e23\u0e32\u0e01\u0e0f\u0e41\u0e25\u0e30\u0e16\u0e39\u0e01\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e43\u0e19\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e2d\u0e07 ChatGPT \u0e44\u0e14\u0e49<\/p>\n<h3>Google-Extended \u0e40\u0e1b\u0e47\u0e19\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n<p>\u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48 Google \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32 Google-Extended \u0e44\u0e21\u0e48\u0e21\u0e35\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e41\u0e22\u0e01 Googlebot \u0e40\u0e1b\u0e47\u0e19\u0e1c\u0e39\u0e49\u0e23\u0e27\u0e1a\u0e23\u0e27\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 \u0e41\u0e25\u0e30\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 Google-Extended \u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e27\u0e48\u0e32\u0e40\u0e19\u0e37\u0e49\u0e2d\u0e2b\u0e32\u0e19\u0e31\u0e49\u0e19\u0e43\u0e0a\u0e49\u0e1d\u0e36\u0e01\u0e41\u0e25\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e02\u0e2d\u0e07 Gemini \u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48 \u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e15\u0e48\u0e2d\u0e2d\u0e31\u0e19\u0e14\u0e31\u0e1a\u0e43\u0e19 Google Search<\/p>\n<h3>AI crawler \u0e17\u0e33\u0e15\u0e32\u0e21 robots.txt \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n<p>\u0e04\u0e23\u0e2d\u0e27\u0e4c\u0e40\u0e25\u0e2d\u0e23\u0e4c\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e17\u0e35\u0e48\u0e21\u0e35\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e43\u0e19\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d\u0e19\u0e35\u0e49\u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32\u0e17\u0e33\u0e15\u0e32\u0e21 \u0e15\u0e31\u0e27\u0e14\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2a\u0e31\u0e48\u0e07\u0e07\u0e32\u0e19 \u0e40\u0e0a\u0e48\u0e19 ChatGPT-User, Perplexity-User \u0e41\u0e25\u0e30 Meta-ExternalFetcher \u0e23\u0e30\u0e1a\u0e38\u0e27\u0e48\u0e32 robots.txt \u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e1c\u0e25\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e21\u0e35\u0e04\u0e19\u0e02\u0e2d\u0e2b\u0e19\u0e49\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e2a\u0e48\u0e27\u0e19\u0e2a\u0e40\u0e04\u0e23\u0e40\u0e1b\u0e2d\u0e23\u0e4c\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e21\u0e35\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e2a\u0e19\u0e43\u0e08\u0e40\u0e25\u0e22<\/p>\n<h3>\u0e08\u0e30\u0e23\u0e39\u0e49\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e27\u0e48\u0e32\u0e1a\u0e2d\u0e17\u0e40\u0e1b\u0e47\u0e19 GPTBot \u0e2b\u0e23\u0e37\u0e2d ClaudeBot \u0e08\u0e23\u0e34\u0e07?<\/h3>\n<p>\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a IP \u0e15\u0e49\u0e19\u0e17\u0e32\u0e07 OpenAI \u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\u0e0a\u0e48\u0e27\u0e07 IP \u0e43\u0e19 <code>gptbot.json<\/code>, <code>searchbot.json<\/code> \u0e41\u0e25\u0e30 <code>chatgpt-user.json<\/code> \u0e2a\u0e48\u0e27\u0e19 Perplexity, DuckDuckGo, Mistral \u0e41\u0e25\u0e30 Google \u0e01\u0e47\u0e40\u0e1c\u0e22\u0e41\u0e1e\u0e23\u0e48\u0e02\u0e2d\u0e07\u0e15\u0e31\u0e27\u0e40\u0e2d\u0e07 \u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e15\u0e23\u0e07\u0e01\u0e31\u0e19\u0e41\u0e15\u0e48\u0e21\u0e32\u0e08\u0e32\u0e01 IP \u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e04\u0e37\u0e2d\u0e15\u0e31\u0e27\u0e1b\u0e25\u0e2d\u0e21<\/p>\n<h2 id=\"sources\">\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e17\u0e35\u0e48\u0e21\u0e32<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e.\u0e22. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> \u0e41\u0e25\u0e30 <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> \u0e41\u0e25\u0e30 <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c\u0e41\u0e1a\u0e1a\u0e40\u0e1b\u0e34\u0e14<\/a> (62,088 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c \u0e2a\u0e48\u0e07\u0e2d\u0e2d\u0e01\u0e40\u0e21\u0e37\u0e48\u0e2d 20 \u0e1e.\u0e22. 2026) \u0e41\u0e25\u0e30\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 robots.txt \u0e08\u0e32\u0e01 3,000 \u0e42\u0e2e\u0e2a\u0e15\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e23\u0e32<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>\u0e23\u0e32\u0e22\u0e0a\u0e37\u0e48\u0e2d AI crawler \u0e41\u0e25\u0e30\u0e22\u0e39\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e40\u0e2d\u0e40\u0e08\u0e19\u0e15\u0e4c\u0e17\u0e35\u0e48\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e49\u0e27\u0e43\u0e19\u0e1b\u0e35 2026 (GPTBot, ClaudeBot, PerplexityBot \u0e41\u0e25\u0e30\u0e2d\u0e37\u0e48\u0e19 \u0e46): \u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e02\u0e2d\u0e07\u0e41\u0e15\u0e48\u0e25\u0e30\u0e15\u0e31\u0e27 \u0e01\u0e0e\u0e01\u0e32\u0e23\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e17\u0e35\u0e48\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e41\u0e25\u0e49\u0e27 \u0e41\u0e25\u0e30\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 robots.txt \u0e08\u0e32\u0e01 2,124 \u0e40\u0e27\u0e47\u0e1a\u0e44\u0e0b\u0e15\u0e4c<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-th","format":"standard","meta":{"footnotes":""},"categories":[1320],"tags":[],"class_list":["post-618","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list-th"],"lang":"th","translations":{"th":618,"en":567,"de":580,"es":582,"pt":584,"fr":586,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/618","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=618"}],"version-history":[{"count":2,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/618\/revisions"}],"predecessor-version":[{"id":620,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/618\/revisions\/620"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=618"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=618"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=618"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}