{"id":614,"date":"2026-11-20T14:12:44","date_gmt":"2026-11-20T03:12:44","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/daftar-crawler-ai\/"},"modified":"2026-11-20T14:12:47","modified_gmt":"2026-11-20T03:12:47","slug":"daftar-crawler-ai","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/id\/ai-crawlers-id\/crawler-list-id\/daftar-crawler-ai\/","title":{"rendered":"Daftar Crawler AI 2026: Setiap Bot AI, User Agent, dan Tugasnya"},"content":{"rendered":"<p>Sebagian besar &#8220;daftar crawler AI&#8221; yang Anda temukan saling menyalin, dan banyak yang sudah usang. Daftar itu masih mencantumkan <code>Claude-Web<\/code> sebagai crawler Anthropic, mengarang bot &#8220;Googlebot-Extended&#8221;, atau menyebut Google-Extended merayapi halaman Anda. Itu tidak benar. Google-Extended tidak punya user agent sendiri; ia hanya token robots.txt.<\/p>\n<p>Daftar ini berbeda dalam dua hal. Setiap user agent di bawah dicek terhadap dokumentasi resmi operatornya per 20 November 2026. Kami juga mengukur bagaimana situs nyata memperlakukan bot-bot ini: kami mengambil robots.txt dari 3.000 situs yang dipilih acak dari registri Online Web Directory dan menghitung crawler AI mana yang mereka sebut dan blokir. Anda juga akan mendapatkan aturan robots.txt, Nginx, dan Apache yang sudah diuji, plus skrip yang memeriksa apakah pengunjung &#8220;GPTBot&#8221; benar-benar berasal dari OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>Apa itu daftar crawler AI?<\/strong> Daftar crawler AI adalah referensi bot yang digunakan perusahaan AI untuk mengambil halaman web, berisi token robots.txt tiap bot, string user agent-nya, dan tugasnya: mengumpulkan data pelatihan, mengindeks halaman untuk pencarian AI, atau mengambil halaman secara langsung karena diminta pengguna. Anda memakainya untuk menulis aturan robots.txt, membaca log server, dan mengatur kebijakan firewall.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">Sekilas tentang crawler AI<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Pertanyaan<\/th>\n<th>Jawaban singkat<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Berapa banyak crawler AI yang penting?<\/td>\n<td>Sekitar 20 user agent terdokumentasi dari 9 operator (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), ditambah DuckDuckGo dan banyak bot kecil lainnya.<\/td>\n<\/tr>\n<tr>\n<td>Jenis utama<\/td>\n<td>Crawler pelatihan, crawler pencarian AI, serta fetcher atau agen yang dipicu pengguna. Google-Extended dan Applebot-Extended adalah token kontrol, bukan crawler.<\/td>\n<\/tr>\n<tr>\n<td>Apakah mereka mematuhi robots.txt?<\/td>\n<td>Crawler pelatihan dan pencarian yang terdokumentasi menyatakan patuh. Fetcher yang dipicu pengguna (ChatGPT-User, Perplexity-User, fetcher Google yang dipicu pengguna, Meta-ExternalFetcher) menyatakan robots.txt mungkin tidak berlaku.<\/td>\n<\/tr>\n<tr>\n<td>Bisakah robots.txt mengembalikan 403?<\/td>\n<td>Tidak. robots.txt adalah permintaan, bukan kunci. Kode 403 berasal dari server, CDN, atau firewall Anda.<\/td>\n<\/tr>\n<tr>\n<td>Seberapa sering situs memblokirnya?<\/td>\n<td>Dalam sampel kami tanggal 20 Nov 2026, 16,9% file robots.txt memblokir penuh GPTBot, tetapi hanya 2,8% yang memblokir penuh OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>Bagaimana cara memverifikasi bot?<\/td>\n<td>Cocokkan IP permintaan dengan daftar IP yang diterbitkan operator (misalnya <code>https:\/\/openai.com\/gptbot.json<\/code>). User agent sangat mudah dipalsukan.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">Daftar crawler AI (diverifikasi November 2026)<\/h2>\n<p>Tabel di bawah mencantumkan setiap token robots.txt, siapa yang menjalankannya, apa tugasnya menurut operator, dan apakah operator menyatakan bot itu mematuhi robots.txt. &#8220;Jenis&#8221; memakai tiga kelompok: <strong>pelatihan<\/strong> (mengumpulkan konten yang mungkin melatih model), <strong>pencarian<\/strong> (mengindeks halaman agar produk AI bisa mengutipnya nanti), dan <strong>pengguna<\/strong> (mengambil halaman secara real time karena diminta seseorang). Kami tidak menyertakan bot yang operatornya tidak menerbitkan dokumentasi yang bisa kami verifikasi.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token robots.txt<\/th>\n<th>Operator<\/th>\n<th>Jenis<\/th>\n<th>Tugasnya<\/th>\n<th>Mematuhi robots.txt?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Pelatihan<\/td>\n<td>Merayapi konten yang mungkin digunakan untuk melatih model fondasi OpenAI.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Pencarian<\/td>\n<td>Mengindeks halaman agar bisa muncul di hasil pencarian ChatGPT.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Pengguna<\/td>\n<td>Mengunjungi halaman saat pengguna ChatGPT atau Custom GPT mengajukan pertanyaan.<\/td>\n<td>&#8220;Mungkin tidak berlaku&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Pemeriksaan iklan<\/td>\n<td>Memeriksa landing page yang diajukan sebagai iklan ChatGPT; tidak dipakai untuk pelatihan.<\/td>\n<td>Hanya mengunjungi halaman yang diajukan<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Pelatihan<\/td>\n<td>Mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude.<\/td>\n<td>Ya, dan menghormati <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Pencarian<\/td>\n<td>Mengindeks konten untuk meningkatkan hasil pencarian Claude.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Pengguna<\/td>\n<td>Mengambil halaman saat pengguna Claude mengajukan pertanyaan.<\/td>\n<td>Ya, menurut Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Token kontrol<\/td>\n<td>Menentukan apakah konten yang dirayapi Google boleh melatih Gemini atau menjadi dasar jawaban Gemini. Tidak ada crawler terpisah.<\/td>\n<td>Hanya token<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Atas permintaan pemilik<\/td>\n<td>Merayapi situs milik pemilik yang membangun Vertex AI Agents; tidak berpengaruh pada Google Penelusuran.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Pengguna<\/td>\n<td>Agen di infrastruktur Google yang menjelajah dan bertindak atas permintaan pengguna.<\/td>\n<td>Dipicu pengguna: umumnya tidak<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Pencarian<\/td>\n<td>Mengindeks halaman untuk hasil pencarian Perplexity; tidak dipakai untuk pelatihan.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Pengguna<\/td>\n<td>Mengambil halaman selama sesi Perplexity pengguna.<\/td>\n<td>&#8220;Umumnya mengabaikan&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Token kontrol<\/td>\n<td>Menentukan apakah halaman yang dirayapi Applebot boleh melatih model fondasi Apple. Tidak merayapi.<\/td>\n<td>Hanya token<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Pelatihan<\/td>\n<td>Merayapi untuk keperluan seperti melatih model AI atau mengindeks konten.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Pengguna<\/td>\n<td>Mengambil tautan tertentu atas permintaan pengguna, termasuk tugas agentik.<\/td>\n<td>&#8220;Mungkin melewati&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Pelatihan<\/td>\n<td>Meningkatkan produk dan layanan Amazon; mungkin dipakai untuk melatih model AI Amazon.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Pencarian<\/td>\n<td>Mengindeks halaman untuk pengalaman pencarian seperti Alexa; tidak dipakai untuk pelatihan.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Pengguna<\/td>\n<td>Mengambil informasi terkini untuk menjawab pengguna, misalnya pertanyaan ke Alexa.<\/td>\n<td>&#8220;Mungkin tidak mematuhi semuanya&#8221;<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Data pelatihan<\/td>\n<td>Membangun arsip web terbuka Common Crawl, sumber umum data pelatihan AI.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Pelatihan<\/td>\n<td>Merayapi konten untuk membangun dataset pelatihan model Mistral.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Pencarian<\/td>\n<td>Mengindeks konten untuk pencarian Mistral; tidak dipakai untuk pelatihan.<\/td>\n<td>Ya<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Pengguna<\/td>\n<td>Mengunjungi halaman saat pengguna bertanya kepada asisten Vibe milik Mistral.<\/td>\n<td>Ya, untuk permintaan pengguna<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>Pencarian<\/td>\n<td>Merayapi halaman secara real time untuk jawaban berbantuan AI DuckDuckGo.<\/td>\n<td>Ya (berlaku setelah 72 jam)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Sumber setiap baris ditautkan di akhir artikel ini. Kutipan di kolom terakhir diambil langsung dari dokumentasi operator. Bytespider (ByteDance) sengaja tidak dicantumkan: kami tidak menemukan halaman ByteDance yang mendokumentasikannya, meskipun 18,5% file robots.txt dalam sampel kami menyebutnya. Dengan alasan yang sama, kami tidak menjelaskan token yang jarang seperti <code>cohere-ai<\/code>, <code>Diffbot<\/code>, atau <code>omgili<\/code>; seberapa sering situs menyebutnya ada di bagian data.<\/p>\n<h3>String user agent lengkap yang akan Anda lihat di log<\/h3>\n<p>robots.txt mencocokkan token pendek, tetapi log akses Anda menampilkan string lengkap. Ini contoh yang diterbitkan operator. Nomor versi berubah, jadi cocokkan dengan token, bukan seluruh string.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI juga mencatat bahwa GPTBot dan OAI-SearchBot mungkin menambahkan penanda <code>robots.txt<\/code> ke user agent saat mengambil file robots.txt Anda, sehingga Anda bisa membedakan permintaan itu di log yang tidak mencatat path.<\/p>\n<h2 id=\"types\">Tiga jenis crawler AI, dan mengapa perbedaannya penting<\/h2>\n<p>Memblokir &#8220;bot AI&#8221; sebagai satu kelompok adalah kesalahan paling umum yang kami lihat. Ketiga jenis ini punya biaya dan manfaat berbeda, dan operator memperlakukan robots.txt secara berbeda untuk masing-masing.<\/p>\n<h3>Crawler pelatihan<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot, dan MistralAI-Training mengumpulkan halaman yang bisa masuk ke data pelatihan model. Memblokirnya tidak menghapus Anda dari hasil pencarian AI perusahaan yang sama: OpenAI menyatakan setiap pengaturan robots.txt-nya independen, jadi Anda bisa menolak GPTBot dan tetap mengizinkan OAI-SearchBot. Dalam sampel kami, crawler pelatihan adalah kelompok yang paling banyak diblokir: 17,3% file robots.txt menolak penuh CCBot, 16,9% GPTBot, dan 15,9% ClaudeBot.<\/p>\n<h3>Crawler pencarian AI<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index, dan DuckAssistBot mengindeks halaman agar asisten bisa menemukan dan mengutipnya nanti. Memblokirnya bisa membuat Anda tidak muncul di jawaban tersebut. Pemilik situs tampaknya tahu ini: hanya 2,8% file yang memblokir penuh OAI-SearchBot dan 5,8% PerplexityBot, dibandingkan 16,9% untuk GPTBot.<\/p>\n<h3>Fetcher dan agen yang dipicu pengguna<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User, dan Google-Agent bertindak untuk satu orang pada satu waktu, seperti browser. Beberapa operator menyatakan robots.txt mungkin tidak berlaku karena manusia yang meminta halaman itu. Bot-bot ini juga yang dipakai agen belanja dan pemesanan, jadi memblokirnya bisa menolak pelanggan sungguhan. 5,9% file dalam sampel kami memblokir penuh ChatGPT-User.<\/p>\n<h3>Token kontrol yang tidak merayapi<\/h3>\n<p>Google-Extended dan Applebot-Extended tidak pernah mengunjungi situs Anda. Google dan Apple merayapi dengan Googlebot dan Applebot seperti biasa, lalu memeriksa token ini untuk memutuskan apakah konten boleh melatih model mereka. Menurut Google, menolak Google-Extended tidak memengaruhi penyertaan atau peringkat di Google Penelusuran. 14,1% file sampel memblokir penuh Google-Extended dan 13,5% Applebot-Extended. Google juga menyatakan berencana mendukung sinyal pelatihan AI bersama (<code>user-agent: __usage_ai-training<\/code>) pada awal 2027; kami membahasnya di <a href=\"\/blog\/id\/robots-txt-id\/training-opt-out-id\/robots-txt-opt-out-pelatihan-ai\/\">panduan opt-out pelatihan AI lewat robots.txt<\/a>.<\/p>\n<h3>Token lawas yang masih memenuhi file robots.txt<\/h3>\n<p>Halaman bantuan Anthropic saat ini hanya mencantumkan ClaudeBot, Claude-User, dan Claude-SearchBot. Namun 15,6% file sampel masih menyebut <code>anthropic-ai<\/code> dan 13,8% menyebut <code>Claude-Web<\/code>. Aturan untuk nama-nama itu tidak berbahaya, tetapi jika itu satu-satunya aturan Anthropic Anda, aturan tersebut mungkin tidak mencakup bot yang didokumentasikan Anthropic saat ini. Pastikan <code>ClaudeBot<\/code> disebut secara eksplisit.<\/p>\n<h2 id=\"what-it-looks-like\">Seperti apa akses crawler AI dalam praktik<\/h2>\n<p>Dokumentasi operator adalah sumber kebenaran untuk user agent. Halaman OpenAI, misalnya, mencantumkan setiap bot dengan contoh string user agent, catatan tentang penanda robots.txt, dan tautan ke file IP yang diterbitkan.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Dokumentasi crawler OpenAI untuk OAI-SearchBot, menampilkan contoh string user agent, penanda robots.txt, dan file IP yang diterbitkan\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>Dokumentasi OpenAI untuk OAI-SearchBot, diambil 20 November 2026.<\/figcaption><\/figure>\n<p>Apa yang sebenarnya dilakukan situs terhadap bot-bot ini adalah soal lain. Kami meminta enam halaman beranda dari server kami dengan user agent Chrome, user agent GPTBot milik OpenAI, dan user agent ClaudeBot. Server kami berada di IP pusat data, yang dicurigai oleh banyak sistem pertahanan bot, jadi hasil dari koneksi rumahan bisa berbeda.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"Hasil curl untuk enam situs yang diminta dengan user agent Chrome, GPTBot, dan ClaudeBot pada 20 November 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>URL sama, tiga user agent. Hasil dari IP pusat data, 20 November 2026 pukul 08.03 AEDT.<\/figcaption><\/figure>\n<p>Muncul tiga pola. Reddit melayani Chrome tetapi mengembalikan 403 ke GPTBot dan 429 ke ClaudeBot, yang berarti penyaringan user agent di server atau CDN. The New York Times mengembalikan 403 ke ketiganya, yang menunjukkan blokir didasarkan pada IP kami atau sidik jari permintaan, bukan user agent. Dan bbc.com mengembalikan 200 ke GPTBot meskipun robots.txt-nya menolak GPTBot, ClaudeBot, CCBot, PerplexityBot, dan setidaknya lima token AI lainnya. Itu bukti paling jelas bahwa robots.txt hanya meminta dan tidak memaksa. Amazon menjawab ketiganya dengan 202 dan body kosong, yaitu tantangan perantara, bukan halaman.<\/p>\n<p>Catatan Online Web Directory untuk setiap situs memisahkan dua lapisan ini: apakah agen bisa menjangkau situs, dan apa isi robots.txt-nya.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Catatan Online Web Directory untuk bbc.com: terbuka untuk agen, tanpa dinding bot, robots.txt membatasi beberapa path\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Catatan OWD untuk bbc.com: terbuka untuk agen, dengan robots.txt membatasi beberapa path.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">Cara memeriksa crawler AI mana yang bisa menjangkau situs Anda<\/h2>\n<h3>1. Baca grup robots.txt Anda untuk token AI<\/h3>\n<p>Mulailah dari apa yang Anda minta kepada crawler. Perintah ini mencetak setiap grup yang menyebut token AI umum, beserta baris setelahnya:<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Output nyata untuk bbc.com pada 20 November 2026 pukul 08.09 AEDT (dipangkas menjadi empat dari sembilan grup):<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Ingat bahwa crawler hanya mematuhi grup paling spesifik yang cocok dengan tokennya. Jika Anda menyebut <code>GPTBot<\/code> dalam grupnya sendiri, ia mengabaikan aturan <code>User-agent: *<\/code> sepenuhnya, jadi ulangi aturan bersama di dalam grup GPTBot.<\/p>\n<h3>2. Uji bagaimana server Anda merespons user agent AI<\/h3>\n<p>robots.txt bisa berkata &#8220;tidak&#8221; sementara server Anda tetap berkata &#8220;ya&#8221;, atau sebaliknya. Minta halaman yang sama dengan user agent berbeda dan bandingkan kode statusnya:<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Ganti URL dengan milik Anda. 403 atau 429 hanya untuk GPTBot berarti penyaringan user agent. 403 untuk keduanya biasanya berarti reputasi IP atau tantangan bot. Jalankan dari koneksi rumahan sekaligus dari server: crawler sungguhan datang dari IP pusat data, jadi hasil server lebih mendekati apa yang mereka lihat.<\/p>\n<h3>3. Temukan crawler AI di log akses Anda<\/h3>\n<p>Hitung kunjungan per bot, lalu periksa kode status yang diterima tiap bot. Kami menjalankan ini pada log akses server Nginx uji coba pada 20 November 2026:<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>Perintah kedua bekerja pada format log &#8220;combined&#8221; standar, di mana kode status mengikuti baris permintaan yang diberi tanda kutip. GPTBot mendapat 200 di <code>\/robots.txt<\/code> dan 403 di semua tempat lain persis yang Anda inginkan saat memblokir crawler pelatihan di server.<\/p>\n<h3>4. Verifikasi bahwa pengunjung &#8220;GPTBot&#8221; benar-benar OpenAI<\/h3>\n<p>Siapa pun bisa mengirim user agent GPTBot. OpenAI, Perplexity, DuckDuckGo, Mistral, dan Google menerbitkan daftar IP, jadi periksa IP sumbernya. Skrip ini menguji sebuah IP terhadap tiga file OpenAI:<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Output pada 20 November 2026 pukul 08.12 AEDT:<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>Saat pengujian kami, <code>gptbot.json<\/code> milik OpenAI berisi 18 rentang IPv4 dengan waktu pembuatan 22 September 2026. Ambil file terbaru setiap kali, jangan menuliskannya secara permanen di kode.<\/p>\n<h3>5. Cari situs Anda di registri<\/h3>\n<p>Online Web Directory memeriksa bagaimana situs merespons klien HTTP biasa dan apa isi robots.txt-nya. Cari domain Anda, misalnya <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> atau <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, atau jalankan <a href=\"https:\/\/onlinewebdirectory.net\/id\/check\">pemeriksaan kesiapan<\/a> gratis. Daftar <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">situs yang memblokir agen AI<\/a> menunjukkan domain mana yang menolak klien biasa.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Daftar Online Web Directory untuk situs yang memblokir agen AI: 725 dari 55.144 situs yang diperiksa memblokir klien HTTP biasa\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>Daftar Online Web Directory untuk situs yang memblokir agen AI, 20 November 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">Cara mengendalikan crawler AI: enam metode<\/h2>\n<p>Pilih sesuai tujuan Anda. Sebagian besar situs ingin mempertahankan lalu lintas pencarian AI, memutuskan soal pelatihan kasus per kasus, dan membiarkan agen yang dipicu pengguna.<\/p>\n<h3>Metode 1: Blokir crawler pelatihan tetapi pertahankan pencarian AI (robots.txt)<\/h3>\n<p>Ini kebijakan paling umum di antara situs dalam sampel kami. Tambahkan ini ke <code>\/robots.txt<\/code> di root setiap host yang Anda layani:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Kami menguji file ini dengan Protego, parser RFC 9309. Hasil untuk path <code>\/blog\/<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Menumpuk beberapa baris <code>User-agent<\/code> di atas satu set aturan sah menurut RFC 9309. Perhatikan bahwa grup pencarian AI tidak mewarisi aturan <code>\/wp-admin\/<\/code> dari grup <code>*<\/code>; tambahkan juga di sana jika perlu.<\/p>\n<h3>Metode 2: Blokir semua crawler AI yang terdokumentasi (robots.txt)<\/h3>\n<p>Jika Anda tidak ingin konten dipakai AI sama sekali, tambahkan token pencarian dan pengguna ke grup penolakan: <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code>, dan <code>DuckAssistBot<\/code>. Bersiaplah menghilang dari jawaban AI. Ingat juga bahwa beberapa fetcher yang dipicu pengguna menyatakan robots.txt mungkin tidak berlaku bagi mereka, jadi ini pernyataan preferensi, bukan tembok.<\/p>\n<h3>Metode 3: Terapkan blokir di Nginx<\/h3>\n<p>Untuk benar-benar menolak permintaan, saring di server. Konfigurasi ini mengembalikan 403 ke crawler pelatihan di setiap path kecuali robots.txt, sehingga mereka tetap bisa membaca aturan Anda. Blok <code>map<\/code> ditempatkan di konteks <code>http<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Kami mengujinya dengan Nginx 1.26.3 pada 20 November 2026: <code>nginx -t<\/code> lolos, GPTBot mendapat 403 di <code>\/<\/code> dan 200 di <code>\/robots.txt<\/code>, sementara Chrome dan OAI-SearchBot mendapat 200 di keduanya. Satu <code>return<\/code> di dalam <code>if<\/code> adalah salah satu penggunaan yang didokumentasikan Nginx sebagai aman.<\/p>\n<h3>Metode 4: Terapkan blokir di Apache (.htaccess)<\/h3>\n<p>Aturan yang sama untuk Apache dengan <code>mod_rewrite<\/code>:<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Diuji di Apache 2.4.71 dengan <code>AllowOverride All<\/code>: GPTBot menerima 403 di beranda dan 200 di robots.txt; Chrome dan OAI-SearchBot menerima 200. Flag <code>[F]<\/code> mengirim 403 Forbidden.<\/p>\n<h3>Metode 5: Gunakan kebijakan crawler AI di CDN Anda<\/h3>\n<p>Jika Anda memakai Cloudflare, Anda tidak perlu memelihara daftar. Di pengaturan Security, saring dengan &#8220;Bot traffic&#8221; dan buka <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare memungkinkan Anda mengatur tindakan terpisah untuk lalu lintas Search, Agent, dan Training. Dokumentasinya menyebut domain baru secara default &#8220;Allow (do not block)&#8221; untuk ketiganya, dan &#8220;Disallow&#8221; untuk Training hanya mengedit robots.txt kecuali Bot Preference Sync aktif. Dasbor AI Crawl Control Cloudflare juga menampilkan crawler mana yang berkunjung dan apakah mereka mematuhi robots.txt Anda. Dari 62.088 situs di registri kami, 6.966 (11,2%) menampilkan tantangan Cloudflare ke pemeriksa kami.<\/p>\n<h3>Metode 6: Verifikasi, lalu izinkan<\/h3>\n<p>Aturan user agent memblokir bot jujur dan melewatkan bot yang tidak jujur. Jika Anda memblokir di edge, pasangkan aturan dengan pemeriksaan IP (lihat langkah 4 di atas) dan izinkan agen pencarian dan pengguna yang terverifikasi. Anthropic memperingatkan bahwa memblokir alamat IP-nya mungkin tidak bekerja andal sebagai opt-out, karena ClaudeBot jadi tidak bisa membaca robots.txt Anda. Gunakan robots.txt untuk kebijakan dan pemeriksaan IP untuk menangkap peniru.<\/p>\n<h2 id=\"owd-data\">Apa kata 2.124 file robots.txt tentang crawler AI<\/h2>\n<p>Pada 20 November 2026 antara pukul 08.01 dan 08.03 AEDT, kami memilih 3.000 host secara acak dari 62.088 situs di <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">dataset terbuka<\/a> Online Web Directory dan mengambil <code>\/robots.txt<\/code> dari server kami. 2.124 mengembalikan file yang bisa diurai. Sebuah token dihitung &#8220;disebut&#8221; jika punya baris <code>User-agent<\/code> sendiri, dan &#8220;diblokir penuh&#8221; jika grupnya berisi <code>Disallow: \/<\/code> tanpa <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Token robots.txt<\/th>\n<th>Disebut<\/th>\n<th>Diblokir penuh<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (lawas)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (lawas)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Empat temuan menonjol:<\/p>\n<ul>\n<li><strong>Sebagian besar situs sama sekali tidak menyebut crawler AI.<\/strong> 629 dari 2.124 file (29,6%) menyebut setidaknya satu token khusus AI. Yang menyebut cenderung menyebut banyak: mediannya 12 token, dan 357 file menyebut 10 atau lebih, tanda daftar blokir hasil salin-tempel.<\/li>\n<li><strong>Pelatihan diblokir, pencarian tidak.<\/strong> GPTBot diblokir penuh enam kali lebih sering daripada OAI-SearchBot (16,9% berbanding 2,8%).<\/li>\n<li><strong>robots.txt dan akses nyata tidak sejalan.<\/strong> Dari 358 situs yang memblokir penuh GPTBot di robots.txt, 284 (79%) berstatus &#8220;terbuka&#8221; dalam pemeriksaan akses OWD sendiri, artinya tidak ada apa pun di server yang menghentikan klien biasa.<\/li>\n<li><strong>Larangan total jarang terjadi.<\/strong> Hanya 13 file (0,6%) yang menolak semuanya untuk semua user agent.<\/li>\n<\/ul>\n<p>Registri yang lebih luas menceritakan hal yang sama dari sisi lain. Berikut hasil akses untuk seluruh 62.088 situs, terakhir diperiksa antara 11 Oktober dan 19 November 2026:<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Yang dihadapi klien HTTP biasa<\/th>\n<th>Situs<\/th>\n<th>Porsi<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Terbuka<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>Tantangan bot<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Diblokir<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>Dibatasi laju<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Perlu login<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Berbayar<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Unduh dataset lengkap (CC BY 4.0) dari <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a>, atau lihat <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">laporan akses agen AI<\/a>.<\/p>\n<h2 id=\"related-errors\">Error dan respons terkait<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Server, CDN, atau firewall Anda menolak permintaan. Ini tidak pernah disebabkan oleh robots.txt itu sendiri, dan tidak permanen: ubah aturannya dan permintaan berikutnya bisa berhasil.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Pembatasan laju. Reddit mengembalikan ini untuk permintaan ClaudeBot kami. Anthropic mendukung <code>Crawl-delay<\/code>, alternatif yang lebih lunak untuk ClaudeBot.<\/li>\n<li><strong>202 dengan body kosong, atau halaman tantangan 503.<\/strong> Biasanya tantangan JavaScript atau CAPTCHA. Crawler tidak bisa menyelesaikannya, jadi bagi mereka halaman itu terblokir meskipun tidak ada 403 yang dikirim.<\/li>\n<li><strong>robots.txt mengembalikan 4xx.<\/strong> Menurut RFC 9309, respons 400-499 berarti file &#8220;tidak tersedia&#8221; dan crawler boleh mengakses semuanya. Dalam sampel kami, 314 dari 3.000 situs (10,5%) menjawab permintaan robots.txt kami dengan 403, yang akan dibaca crawler yang patuh sebagai tidak ada aturan sama sekali.<\/li>\n<li><strong>robots.txt mengembalikan 5xx atau timeout.<\/strong> RFC 9309 menyatakan crawler harus menganggap larangan total, jadi gangguan pada robots.txt bisa diam-diam memblokir semua crawler, termasuk Googlebot.<\/li>\n<li><strong>robots.txt lebih besar dari 500 KiB.<\/strong> RFC 9309 hanya mewajibkan crawler mengurai 500 KiB pertama, jadi aturan setelah itu mungkin diabaikan.<\/li>\n<\/ul>\n<p>Jika Anda menerbitkan file llms.txt untuk agen AI, pastikan bot yang Anda izinkan benar-benar bisa mengambilnya. <a href=\"\/blog\/id\/llms-txt-id\/basics-id\/apa-itu-llms-txt\/\">Panduan llms.txt<\/a> kami menunjukkan cara mengujinya.<\/p>\n<h2 id=\"summary\">Ringkasan<\/h2>\n<p>Daftar crawler AI yang akurat dimulai dari dokumentasi operator sendiri, bukan daftar lain. Saat ini artinya sekitar 20 user agent dari 9 perusahaan, dalam tiga jenis: crawler pelatihan, crawler pencarian AI, dan agen yang dipicu pengguna, ditambah dua token kontrol (Google-Extended dan Applebot-Extended) yang tidak pernah merayapi. Sebagian besar situs yang bertindak memblokir pelatihan dan mempertahankan pencarian, dan robots.txt hanyalah permintaan: jika Anda butuh blokir sungguhan, terapkan di server atau CDN dan verifikasi IP.<\/p>\n<p>Agen AI sudah mencari situs di Online Web Directory sebelum mengunjunginya. Jika catatan situs Anda salah, atau Anda ingin agen mengetahui API, server MCP, atau izin AI Anda, <a href=\"https:\/\/onlinewebdirectory.net\/id\/claim\">klaim situs Anda seharga $25<\/a>. Anda bisa menjalankan <a href=\"https:\/\/onlinewebdirectory.net\/id\/check\">pemeriksaan kesiapan<\/a> gratis terlebih dahulu.<\/p>\n<h2 id=\"faq\">Pertanyaan yang sering diajukan<\/h2>\n<h3>Apa user agent untuk ChatGPT?<\/h3>\n<p>ChatGPT memakai tiga. GPTBot mengumpulkan data pelatihan, OAI-SearchBot mengindeks halaman untuk pencarian ChatGPT, dan ChatGPT-User mengambil halaman saat pengguna bertanya. Token robots.txt-nya adalah <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code>, dan <code>ChatGPT-User<\/code>.<\/p>\n<h3>Apakah memblokir GPTBot menghapus situs saya dari pencarian ChatGPT?<\/h3>\n<p>Tidak. OpenAI mengendalikan pencarian lewat OAI-SearchBot. Anda bisa menolak GPTBot untuk keluar dari pelatihan dan tetap mengizinkan OAI-SearchBot agar halaman Anda bisa muncul dan dikutip di pencarian ChatGPT.<\/p>\n<h3>Apakah Google-Extended sebuah crawler?<\/h3>\n<p>Bukan. Google menyatakan Google-Extended tidak punya user agent terpisah. Googlebot yang merayapi, dan token Google-Extended hanya mengendalikan apakah konten itu boleh dipakai untuk pelatihan dan grounding Gemini. Token ini tidak memengaruhi peringkat Google Penelusuran.<\/p>\n<h3>Apakah crawler AI mematuhi robots.txt?<\/h3>\n<p>Crawler pelatihan dan pencarian terdokumentasi dalam daftar ini menyatakan patuh. Fetcher yang dipicu pengguna seperti ChatGPT-User, Perplexity-User, dan Meta-ExternalFetcher menyatakan robots.txt mungkin tidak berlaku, karena seseorang yang meminta halaman. Scraper tak terdokumentasi bisa mengabaikannya sepenuhnya.<\/p>\n<h3>Bagaimana saya tahu bot benar-benar GPTBot atau ClaudeBot?<\/h3>\n<p>Periksa IP sumber. OpenAI menerbitkan rentang di <code>gptbot.json<\/code>, <code>searchbot.json<\/code>, dan <code>chatgpt-user.json<\/code>; Perplexity, DuckDuckGo, Mistral, dan Google menerbitkan milik mereka sendiri. User agent yang cocok dari IP yang tidak terdaftar adalah peniru.<\/p>\n<h2 id=\"sources\">Sumber<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (diakses 20 Nov 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> dan <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> dan <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">dataset situs terbuka<\/a> (62.088 situs, diekspor 20 Nov 2026) dan sampel robots.txt kami dari 3.000 host<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Daftar crawler AI dan user agent terverifikasi tahun 2026 (GPTBot, ClaudeBot, PerplexityBot, dan lainnya): tugas masing-masing, aturan blokir yang sudah diuji, dan data robots.txt dari 2.124 situs.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-id","format":"standard","meta":{"footnotes":""},"categories":[1312],"tags":[],"class_list":["post-614","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list-id"],"lang":"id","translations":{"id":614,"en":567,"de":580,"es":582,"pt":584,"fr":586,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/614","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=614"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/614\/revisions"}],"predecessor-version":[{"id":615,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/614\/revisions\/615"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=614"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=614"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=614"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}