{"id":586,"date":"2026-11-20T08:30:59","date_gmt":"2026-11-19T21:30:59","guid":{"rendered":"https:\/\/onlinewebdirectory.net\/blog\/research\/liste-crawlers-ia\/"},"modified":"2026-11-20T08:31:02","modified_gmt":"2026-11-19T21:31:02","slug":"liste-crawlers-ia","status":"publish","type":"post","link":"https:\/\/onlinewebdirectory.net\/blog\/fr\/ai-crawlers\/crawler-list\/liste-crawlers-ia\/","title":{"rendered":"Liste des crawlers IA 2026 : chaque bot IA, son user agent et son r\u00f4le"},"content":{"rendered":"<p>La plupart des \u00ab listes de crawlers IA \u00bb que vous trouverez sont copi\u00e9es les unes sur les autres, et beaucoup sont obsol\u00e8tes. Elles citent encore <code>Claude-Web<\/code> comme crawler d&#8217;Anthropic, inventent un bot \u00ab Googlebot-Extended \u00bb ou affirment que Google-Extended explore vos pages. Ce n&#8217;est pas le cas. Google-Extended n&#8217;a pas de user agent propre ; c&#8217;est seulement un jeton robots.txt.<\/p>\n<p>Cette liste se distingue sur deux points. Chaque user agent ci-dessous est v\u00e9rifi\u00e9 dans la documentation de l&#8217;op\u00e9rateur, au 20 novembre 2026. Et nous avons mesur\u00e9 comment de vrais sites traitent ces bots : nous avons r\u00e9cup\u00e9r\u00e9 le robots.txt de 3 000 sites tir\u00e9s au hasard dans le registre d&#8217;Online Web Directory et compt\u00e9 quels crawlers IA ils nomment et bloquent. Vous trouverez aussi des r\u00e8gles test\u00e9es pour robots.txt, Nginx et Apache, ainsi qu&#8217;un script qui v\u00e9rifie si un visiteur \u00ab GPTBot \u00bb vient vraiment d&#8217;OpenAI.<\/p>\n<div class=\"owd-definition\">\n<p><strong>Qu&#8217;est-ce qu&#8217;une liste de crawlers IA ?<\/strong> Une liste de crawlers IA est un r\u00e9f\u00e9rentiel des bots que les entreprises d&#8217;IA utilisent pour r\u00e9cup\u00e9rer des pages web, avec pour chaque bot son jeton robots.txt, sa cha\u00eene user agent et sa fonction : collecter des donn\u00e9es d&#8217;entra\u00eenement, indexer des pages pour la recherche IA ou r\u00e9cup\u00e9rer une page en direct parce qu&#8217;un utilisateur l&#8217;a demand\u00e9e. Elle sert \u00e0 \u00e9crire des r\u00e8gles robots.txt, lire les journaux serveur et d\u00e9finir des r\u00e8gles de pare-feu.<\/p>\n<\/div>\n<h2 id=\"at-a-glance\">Les crawlers IA en bref<\/h2>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Question<\/th>\n<th>R\u00e9ponse courte<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Combien de crawlers IA comptent ?<\/td>\n<td>Environ 20 user agents document\u00e9s de 9 op\u00e9rateurs (OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, Common Crawl, Mistral), plus DuckDuckGo et une longue tra\u00eene de petits bots.<\/td>\n<\/tr>\n<tr>\n<td>Types principaux<\/td>\n<td>Crawlers d&#8217;entra\u00eenement, crawlers de recherche IA et agents ou fetchers d\u00e9clench\u00e9s par l&#8217;utilisateur. Google-Extended et Applebot-Extended sont des jetons de contr\u00f4le, pas des crawlers.<\/td>\n<\/tr>\n<tr>\n<td>Respectent-ils robots.txt ?<\/td>\n<td>Les crawlers d&#8217;entra\u00eenement et de recherche document\u00e9s disent que oui. Les fetchers d\u00e9clench\u00e9s par l&#8217;utilisateur (ChatGPT-User, Perplexity-User, les fetchers d\u00e9clench\u00e9s par l&#8217;utilisateur de Google, Meta-ExternalFetcher) disent que robots.txt peut ne pas s&#8217;appliquer.<\/td>\n<\/tr>\n<tr>\n<td>robots.txt peut-il renvoyer une erreur 403 ?<\/td>\n<td>Non. robots.txt est une demande, pas un verrou. Une 403 vient de votre serveur, de votre CDN ou de votre pare-feu.<\/td>\n<\/tr>\n<tr>\n<td>\u00c0 quelle fr\u00e9quence les sites les bloquent-ils ?<\/td>\n<td>Dans notre \u00e9chantillon du 20 nov. 2026, 16,9 % des fichiers robots.txt bloquent enti\u00e8rement GPTBot, mais seulement 2,8 % bloquent enti\u00e8rement OAI-SearchBot.<\/td>\n<\/tr>\n<tr>\n<td>Comment v\u00e9rifier un bot ?<\/td>\n<td>Comparez l&#8217;IP de la requ\u00eate \u00e0 la liste d&#8217;IP publi\u00e9e par l&#8217;op\u00e9rateur (par exemple <code>https:\/\/openai.com\/gptbot.json<\/code>). Un user agent se falsifie tr\u00e8s facilement.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<h2 id=\"the-list\">La liste des crawlers IA (v\u00e9rifi\u00e9e en novembre 2026)<\/h2>\n<p>Le tableau indique chaque jeton robots.txt, qui l&#8217;exploite, ce qu&#8217;il fait selon l&#8217;op\u00e9rateur et si l&#8217;op\u00e9rateur affirme qu&#8217;il respecte robots.txt. La colonne \u00ab Type \u00bb utilise trois cat\u00e9gories : <strong>entra\u00eenement<\/strong> (collecte du contenu qui peut entra\u00eener des mod\u00e8les), <strong>recherche<\/strong> (indexe des pages pour qu&#8217;un produit d&#8217;IA puisse les citer plus tard) et <strong>utilisateur<\/strong> (r\u00e9cup\u00e8re une page en temps r\u00e9el parce qu&#8217;une personne l&#8217;a demand\u00e9e). Nous avons \u00e9cart\u00e9 les bots dont l&#8217;op\u00e9rateur ne publie aucune documentation v\u00e9rifiable.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Jeton robots.txt<\/th>\n<th>Op\u00e9rateur<\/th>\n<th>Type<\/th>\n<th>R\u00f4le<\/th>\n<th>Respecte robots.txt ?<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Entra\u00eenement<\/td>\n<td>Explore du contenu pouvant servir \u00e0 entra\u00eener les mod\u00e8les de fondation d&#8217;OpenAI.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Recherche<\/td>\n<td>Indexe des pages pour qu&#8217;elles puissent appara\u00eetre dans les r\u00e9sultats de recherche de ChatGPT.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Utilisateur<\/td>\n<td>Visite une page quand un utilisateur de ChatGPT ou d&#8217;un Custom GPT pose une question.<\/td>\n<td>\u00ab Peut ne pas s&#8217;appliquer \u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-AdsBot<\/code><\/td>\n<td>OpenAI<\/td>\n<td>Contr\u00f4le des annonces<\/td>\n<td>Contr\u00f4le les pages de destination soumises comme annonces ChatGPT ; pas utilis\u00e9 pour l&#8217;entra\u00eenement.<\/td>\n<td>Visite seulement les pages soumises<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Entra\u00eenement<\/td>\n<td>Collecte du contenu web pouvant contribuer \u00e0 l&#8217;entra\u00eenement des mod\u00e8les Claude.<\/td>\n<td>Oui, et respecte <code>Crawl-delay<\/code><\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Recherche<\/td>\n<td>Indexe du contenu pour am\u00e9liorer les r\u00e9sultats de recherche de Claude.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>Anthropic<\/td>\n<td>Utilisateur<\/td>\n<td>R\u00e9cup\u00e8re des pages quand un utilisateur de Claude pose une question.<\/td>\n<td>Oui, selon Anthropic<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>Google<\/td>\n<td>Jeton de contr\u00f4le<\/td>\n<td>D\u00e9termine si le contenu explor\u00e9 par Google peut entra\u00eener Gemini ou ancrer ses r\u00e9ponses. Pas de crawler distinct.<\/td>\n<td>Jeton seulement<\/td>\n<\/tr>\n<tr>\n<td><code>Google-CloudVertexBot<\/code><\/td>\n<td>Google<\/td>\n<td>Demand\u00e9 par le propri\u00e9taire<\/td>\n<td>Explore les sites dont les propri\u00e9taires cr\u00e9ent des Vertex AI Agents ; aucun effet sur la recherche Google.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Agent<\/code><\/td>\n<td>Google<\/td>\n<td>Utilisateur<\/td>\n<td>Agents h\u00e9berg\u00e9s chez Google qui naviguent et agissent \u00e0 la demande d&#8217;un utilisateur.<\/td>\n<td>D\u00e9clench\u00e9 par l&#8217;utilisateur : en g\u00e9n\u00e9ral non<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Recherche<\/td>\n<td>Indexe des pages pour les r\u00e9sultats de recherche de Perplexity ; pas utilis\u00e9 pour l&#8217;entra\u00eenement.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>Perplexity<\/td>\n<td>Utilisateur<\/td>\n<td>R\u00e9cup\u00e8re une page pendant la session Perplexity d&#8217;un utilisateur.<\/td>\n<td>\u00ab L&#8217;ignore en g\u00e9n\u00e9ral \u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>Apple<\/td>\n<td>Jeton de contr\u00f4le<\/td>\n<td>D\u00e9termine si les pages explor\u00e9es par Applebot peuvent entra\u00eener les mod\u00e8les de fondation d&#8217;Apple. N&#8217;explore rien.<\/td>\n<td>Jeton seulement<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>Meta<\/td>\n<td>Entra\u00eenement<\/td>\n<td>Explore pour des usages comme l&#8217;entra\u00eenement de mod\u00e8les d&#8217;IA ou l&#8217;indexation de contenu.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalfetcher<\/code><\/td>\n<td>Meta<\/td>\n<td>Utilisateur<\/td>\n<td>R\u00e9cup\u00e8re des liens pr\u00e9cis \u00e0 la demande d&#8217;un utilisateur, y compris pour des t\u00e2ches d&#8217;agent.<\/td>\n<td>\u00ab Peut le contourner \u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Entra\u00eenement<\/td>\n<td>Am\u00e9liore les produits et services d&#8217;Amazon ; peut servir \u00e0 entra\u00eener les mod\u00e8les d&#8217;IA d&#8217;Amazon.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-SearchBot<\/code><\/td>\n<td>Amazon<\/td>\n<td>Recherche<\/td>\n<td>Indexe des pages pour des exp\u00e9riences de recherche comme Alexa ; pas utilis\u00e9 pour l&#8217;entra\u00eenement.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>Amzn-User<\/code><\/td>\n<td>Amazon<\/td>\n<td>Utilisateur<\/td>\n<td>R\u00e9cup\u00e8re des informations en direct pour r\u00e9pondre \u00e0 un utilisateur, par exemple une requ\u00eate Alexa.<\/td>\n<td>\u00ab Peut ne pas tout suivre \u00bb<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>Common Crawl<\/td>\n<td>Donn\u00e9es d&#8217;entra\u00eenement<\/td>\n<td>Construit l&#8217;archive web ouverte de Common Crawl, source fr\u00e9quente de donn\u00e9es d&#8217;entra\u00eenement pour l&#8217;IA.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Training<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Entra\u00eenement<\/td>\n<td>Explore du contenu pour constituer des jeux de donn\u00e9es d&#8217;entra\u00eenement des mod\u00e8les Mistral.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-Index<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Recherche<\/td>\n<td>Indexe du contenu pour la recherche Mistral ; pas utilis\u00e9 pour l&#8217;entra\u00eenement.<\/td>\n<td>Oui<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>Mistral AI<\/td>\n<td>Utilisateur<\/td>\n<td>Visite une page quand un utilisateur pose une question \u00e0 Vibe, l&#8217;assistant de Mistral.<\/td>\n<td>Oui, pour les requ\u00eates utilisateur<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>DuckDuckGo<\/td>\n<td>Recherche<\/td>\n<td>Explore des pages en temps r\u00e9el pour les r\u00e9ponses assist\u00e9es par IA de DuckDuckGo.<\/td>\n<td>Oui (effectif apr\u00e8s 72 heures)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Les sources de chaque ligne sont en lien \u00e0 la fin de l&#8217;article. Les citations de la derni\u00e8re colonne viennent directement de la documentation de l&#8217;op\u00e9rateur. Bytespider (ByteDance) manque volontairement : nous n&#8217;avons trouv\u00e9 aucune page de ByteDance qui le documente, alors que 18,5 % des fichiers robots.txt de notre \u00e9chantillon le nomment. Pour la m\u00eame raison, nous ne d\u00e9crivons pas la longue tra\u00eene de jetons comme <code>cohere-ai<\/code>, <code>Diffbot<\/code> ou <code>omgili<\/code> ; leur fr\u00e9quence figure dans la partie donn\u00e9es.<\/p>\n<h3>Les cha\u00eenes user agent compl\u00e8tes que vous verrez dans vos journaux<\/h3>\n<p>robots.txt fonctionne avec le jeton court, mais vos journaux d&#8217;acc\u00e8s affichent la cha\u00eene compl\u00e8te. Voici les exemples publi\u00e9s par les op\u00e9rateurs. Les num\u00e9ros de version changent : filtrez sur le jeton, pas sur la cha\u00eene enti\u00e8re.<\/p>\n<pre class=\"wp-block-code\"><code># GPTBot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot\n\n# OAI-SearchBot\nMozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/131.0.0.0 Safari\/537.36; compatible; OAI-SearchBot\/1.4; +https:\/\/openai.com\/searchbot\n\n# ChatGPT-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot\n\n# PerplexityBot\nMozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\n\n# Perplexity-User\nMozilla\/5.0 (compatible; Perplexity-User\/1.0; +https:\/\/perplexity.ai\/perplexity-user)\n\n# Amazonbot\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Amazonbot\/0.1) Chrome\/W.X.Y.Z Safari\/537.36\n\n# CCBot\nCCBot\/2.0 (https:\/\/commoncrawl.org\/faq\/)\n\n# meta-externalagent\nmeta-externalagent\/1.1 (+https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/crawler)\n\n# MistralAI-User\nMozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; MistralAI-User\/1.0; +https:\/\/docs.mistral.ai\/robots)\n\n# DuckAssistBot\nDuckAssistBot\/1.2; (+http:\/\/duckduckgo.com\/duckassistbot.html)<\/code><\/pre>\n<p>OpenAI pr\u00e9cise aussi que GPTBot et OAI-SearchBot peuvent ajouter un marqueur <code>robots.txt<\/code> au user agent lorsqu&#8217;ils r\u00e9cup\u00e8rent votre robots.txt, pour que vous distinguiez ces requ\u00eates dans des journaux sans chemins.<\/p>\n<h2 id=\"types\">Trois types de crawlers IA, et pourquoi la diff\u00e9rence compte<\/h2>\n<p>Bloquer les \u00ab bots IA \u00bb en un seul groupe est l&#8217;erreur la plus fr\u00e9quente que nous voyons. Les trois types n&#8217;ont ni les m\u00eames co\u00fbts ni les m\u00eames avantages, et les op\u00e9rateurs traitent robots.txt diff\u00e9remment pour chacun.<\/p>\n<h3>Crawlers d&#8217;entra\u00eenement<\/h3>\n<p>GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot et MistralAI-Training collectent des pages qui peuvent finir dans des donn\u00e9es d&#8217;entra\u00eenement. Les bloquer ne vous retire pas des r\u00e9sultats de recherche IA de la m\u00eame entreprise : OpenAI indique que chacun de ses r\u00e9glages robots.txt est ind\u00e9pendant, vous pouvez donc bloquer GPTBot tout en autorisant OAI-SearchBot. Dans notre \u00e9chantillon, les crawlers d&#8217;entra\u00eenement sont le groupe le plus bloqu\u00e9. 17,3 % des fichiers robots.txt bloquent enti\u00e8rement CCBot, 16,9 % GPTBot et 15,9 % ClaudeBot.<\/p>\n<h3>Crawlers de recherche IA<\/h3>\n<p>OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amzn-SearchBot, MistralAI-Index et DuckAssistBot indexent des pages pour qu&#8217;un assistant puisse les trouver et les citer plus tard. Les bloquer peut vous exclure de ces r\u00e9ponses. Les propri\u00e9taires semblent le savoir : seuls 2,8 % des fichiers bloquent enti\u00e8rement OAI-SearchBot et 5,8 % PerplexityBot, contre 16,9 % pour GPTBot.<\/p>\n<h3>Fetchers et agents d\u00e9clench\u00e9s par l&#8217;utilisateur<\/h3>\n<p>ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User, MistralAI-User et Google-Agent agissent pour une seule personne \u00e0 la fois, comme un navigateur. Plusieurs op\u00e9rateurs disent que robots.txt peut ne pas s&#8217;appliquer, car un humain a demand\u00e9 la page. Ce sont aussi les bots qu&#8217;utilisent les agents d&#8217;achat et de r\u00e9servation : les bloquer peut faire fuir de vrais clients. 5,9 % des fichiers de notre \u00e9chantillon bloquent enti\u00e8rement ChatGPT-User.<\/p>\n<h3>Des jetons de contr\u00f4le qui n&#8217;explorent rien<\/h3>\n<p>Google-Extended et Applebot-Extended ne visitent jamais votre site. Google et Apple explorent comme d&#8217;habitude avec Googlebot et Applebot, puis consultent ces jetons pour d\u00e9cider si le contenu peut entra\u00eener leurs mod\u00e8les. Selon Google, bloquer Google-Extended n&#8217;a aucun effet sur l&#8217;inclusion ni sur le classement dans la recherche Google. 14,1 % des fichiers analys\u00e9s bloquent enti\u00e8rement Google-Extended et 13,5 % Applebot-Extended. Google a aussi annonc\u00e9 vouloir prendre en charge le signal commun d&#8217;entra\u00eenement IA (<code>user-agent: __usage_ai-training<\/code>) d\u00e9but 2027 ; nous l&#8217;expliquons dans notre <a href=\"\/blog\/fr\/robots-txt\/training-opt-out\/robots-txt-opposition-entrainement-ia\/\">guide sur l&#8217;opt-out de l&#8217;entra\u00eenement IA dans robots.txt<\/a>.<\/p>\n<h3>D&#8217;anciens jetons qui remplissent encore les robots.txt<\/h3>\n<p>La page d&#8217;aide actuelle d&#8217;Anthropic ne cite que ClaudeBot, Claude-User et Claude-SearchBot. Pourtant, 15,6 % des fichiers analys\u00e9s nomment encore <code>anthropic-ai<\/code> et 13,8 % <code>Claude-Web<\/code>. Des r\u00e8gles pour ces noms ne font pas de mal, mais si ce sont vos seules r\u00e8gles pour Anthropic, elles risquent de ne pas couvrir les bots qu&#8217;Anthropic documente aujourd&#8217;hui. V\u00e9rifiez que <code>ClaudeBot<\/code> est nomm\u00e9 explicitement.<\/p>\n<h2 id=\"what-it-looks-like\">\u00c0 quoi ressemble l&#8217;acc\u00e8s des crawlers IA en pratique<\/h2>\n<p>La documentation des op\u00e9rateurs fait foi pour les user agents. La page d&#8217;OpenAI, par exemple, liste chaque bot avec un exemple de cha\u00eene user agent, des notes sur le marqueur robots.txt et un lien vers son fichier d&#8217;IP publi\u00e9.<\/p>\n<figure class=\"wp-block-image size-full\"><img fetchpriority=\"high\" class=\"wp-image-576\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp 1200w\" sizes=\"(max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/openai-bots-v3.webp\" alt=\"Documentation d'OpenAI sur OAI-SearchBot, avec son exemple de cha\u00eene user agent, le marqueur robots.txt et le fichier d'IP publi\u00e9\" width=\"1200\" height=\"900\" loading=\"eager\" decoding=\"async\" \/><figcaption>La documentation d&#8217;OpenAI sur OAI-SearchBot, captur\u00e9e le 20 novembre 2026.<\/figcaption><\/figure>\n<p>Ce qu&#8217;un site fait r\u00e9ellement de ces bots est une autre affaire. Nous avons demand\u00e9 six pages d&#8217;accueil depuis notre serveur avec un user agent Chrome, le user agent GPTBot d&#8217;OpenAI et un user agent ClaudeBot. Notre serveur utilise une IP de centre de donn\u00e9es, que beaucoup de protections anti-bots regardent avec m\u00e9fiance ; depuis une connexion domestique, les r\u00e9sultats peuvent diff\u00e9rer.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-570\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/curl-tests-v2.webp\" alt=\"R\u00e9sultats curl pour six sites demand\u00e9s avec les user agents Chrome, GPTBot et ClaudeBot le 20 novembre 2026\" width=\"1200\" height=\"991\" loading=\"lazy\" decoding=\"async\" \/><figcaption>M\u00eame URL, trois user agents. R\u00e9sultats depuis une IP de centre de donn\u00e9es, 20 novembre 2026, 08:03 AEDT.<\/figcaption><\/figure>\n<p>Trois cas de figure apparaissent. Reddit a servi Chrome mais a renvoy\u00e9 403 \u00e0 GPTBot et 429 \u00e0 ClaudeBot : un filtrage par user agent sur le serveur ou le CDN. Le New York Times a renvoy\u00e9 403 aux trois, ce qui sugg\u00e8re un blocage fond\u00e9 sur notre IP ou l&#8217;empreinte de la requ\u00eate, pas sur le user agent. Et bbc.com a renvoy\u00e9 200 \u00e0 GPTBot alors que son robots.txt bloque GPTBot, ClaudeBot, CCBot, PerplexityBot et au moins cinq autres jetons IA. C&#8217;est la preuve la plus nette que robots.txt demande sans imposer. Amazon a r\u00e9pondu aux trois par un 202 au corps vide, une page de v\u00e9rification interm\u00e9diaire plut\u00f4t qu&#8217;une vraie page.<\/p>\n<p>La fiche de chaque site dans Online Web Directory s\u00e9pare ces deux couches : si les agents peuvent atteindre le site, et ce que dit son robots.txt.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-572\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-site-bbc-v2.webp\" alt=\"Fiche Online Web Directory de bbc.com : ouvert aux agents, pas de mur anti-bots, robots.txt restreint certains chemins\" width=\"1200\" height=\"1097\" loading=\"lazy\" decoding=\"async\" \/><figcaption>La fiche OWD de bbc.com : ouvert aux agents, avec un robots.txt qui restreint certains chemins.<\/figcaption><\/figure>\n<h2 id=\"how-to-check\">Comment v\u00e9rifier quels crawlers IA peuvent atteindre votre site<\/h2>\n<h3>1. Lisez les groupes de votre robots.txt pour les jetons IA<\/h3>\n<p>Commencez par ce que vous demandez aux crawlers. Cette commande affiche chaque groupe qui nomme un jeton IA courant, avec la ligne suivante :<\/p>\n<pre class=\"wp-block-code\"><code>curl -s https:\/\/www.bbc.com\/robots.txt | grep -i -A1 -E '^user-agent: *(gptbot|oai-searchbot|chatgpt-user|claudebot|google-extended|perplexitybot|ccbot|bytespider|applebot-extended)'<\/code><\/pre>\n<p>Sortie r\u00e9elle pour bbc.com le 20 novembre 2026 \u00e0 08:09 AEDT (r\u00e9duite \u00e0 quatre des neuf groupes) :<\/p>\n<pre class=\"wp-block-code\"><code>User-agent: CCBot\nDisallow: \/\n--\nUser-agent: ClaudeBot\nDisallow: \/\n--\nUser-agent: GPTBot\nDisallow: \/\n--\nUser-agent: OAI-SearchBot\nDisallow: \/<\/code><\/pre>\n<p>Rappelez-vous qu&#8217;un crawler n&#8217;ob\u00e9it qu&#8217;au groupe le plus sp\u00e9cifique correspondant \u00e0 son jeton. Si vous nommez <code>GPTBot<\/code> dans son propre groupe, il ignore enti\u00e8rement vos r\u00e8gles <code>User-agent: *<\/code> ; r\u00e9p\u00e9tez donc les r\u00e8gles communes dans le groupe GPTBot.<\/p>\n<h3>2. Testez la r\u00e9ponse de votre serveur aux user agents IA<\/h3>\n<p>robots.txt peut dire \u00ab non \u00bb pendant que votre serveur dit encore \u00ab oui \u00bb, ou l&#8217;inverse. Demandez la m\u00eame page avec diff\u00e9rents user agents et comparez les codes de statut :<\/p>\n<pre class=\"wp-block-code\"><code>GPT='Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko); compatible; GPTBot\/1.4; +https:\/\/openai.com\/gptbot'\nCHROME='Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/130.0.0.0 Safari\/537.36'\nfor ua in \"$CHROME\" \"$GPT\"; do\n  curl -s -o \/dev\/null -A \"$ua\" -w \"%{http_code} %{size_download}B\\n\" https:\/\/www.example-shop.com\/\ndone<\/code><\/pre>\n<p>Remplacez l&#8217;URL par la v\u00f4tre. Un 403 ou un 429 pour GPTBot seul signale un filtrage par user agent. Un 403 pour les deux signale en g\u00e9n\u00e9ral la r\u00e9putation de l&#8217;IP ou un d\u00e9fi anti-bots. Testez depuis une connexion domestique et depuis un serveur : les vrais crawlers viennent d&#8217;IP de centres de donn\u00e9es, le r\u00e9sultat serveur est donc plus proche de ce qu&#8217;ils voient.<\/p>\n<h3>3. Rep\u00e9rez les crawlers IA dans vos journaux d&#8217;acc\u00e8s<\/h3>\n<p>Comptez les requ\u00eates par bot, puis v\u00e9rifiez quels codes de statut chaque bot a re\u00e7us. Nous avons lanc\u00e9 ces commandes sur le journal d&#8217;acc\u00e8s d&#8217;un serveur Nginx de test le 20 novembre 2026 :<\/p>\n<pre class=\"wp-block-code\"><code>$ grep -o -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|meta-external[a-z]+' access.log | sort | uniq -c | sort -rn\n      2 OAI-SearchBot\n      2 GPTBot\n$ awk -F'\"' '\/GPTBot\/ {split($3,a,\" \"); print a[1]}' access.log | sort | uniq -c\n      1 200\n      1 403<\/code><\/pre>\n<p>La seconde commande fonctionne avec le format de journal standard \u00ab combined \u00bb, o\u00f9 le code de statut suit la ligne de requ\u00eate entre guillemets. Un 200 pour GPTBot sur <code>\/robots.txt<\/code> et un 403 partout ailleurs, c&#8217;est exactement ce que vous voulez quand vous bloquez les crawlers d&#8217;entra\u00eenement sur le serveur.<\/p>\n<h3>4. V\u00e9rifiez qu&#8217;un visiteur \u00ab GPTBot \u00bb vient vraiment d&#8217;OpenAI<\/h3>\n<p>N&#8217;importe qui peut envoyer un user agent GPTBot. OpenAI, Perplexity, DuckDuckGo, Mistral et Google publient des listes d&#8217;IP : v\u00e9rifiez donc l&#8217;IP source. Ce script teste une IP avec les trois fichiers d&#8217;OpenAI :<\/p>\n<pre class=\"wp-block-code\"><code># verify_ip.py - usage: python3 verify_ip.py 132.196.86.1\nimport sys, json, ipaddress, urllib.request\n\nip = ipaddress.ip_address(sys.argv[1])\nfor name in [\"gptbot\", \"searchbot\", \"chatgpt-user\"]:\n    data = json.load(urllib.request.urlopen(f\"https:\/\/openai.com\/{name}.json\", timeout=20))\n    nets = [ipaddress.ip_network(p.get(\"ipv4Prefix\") or p.get(\"ipv6Prefix\")) for p in data[\"prefixes\"]]\n    hit = [str(n) for n in nets if ip.version == n.version and ip in n]\n    print(f\"{name:13} {len(nets):3} ranges  {'MATCH ' + hit[0] if hit else 'no match'}\")<\/code><\/pre>\n<p>Sortie du 20 novembre 2026 \u00e0 08:12 AEDT :<\/p>\n<pre class=\"wp-block-code\"><code>$ python3 verify_ip.py 132.196.86.1\ngptbot         18 ranges  MATCH 132.196.86.0\/24\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match\n$ python3 verify_ip.py 1.1.1.1\ngptbot         18 ranges  no match\nsearchbot      39 ranges  no match\nchatgpt-user  237 ranges  no match<\/code><\/pre>\n<p>Au moment de notre test, le fichier <code>gptbot.json<\/code> d&#8217;OpenAI contenait 18 plages IPv4, avec une date de cr\u00e9ation au 22 septembre 2026. R\u00e9cup\u00e9rez les fichiers \u00e0 chaque fois au lieu de les figer dans votre code.<\/p>\n<h3>5. Cherchez votre site dans le registre<\/h3>\n<p>Online Web Directory v\u00e9rifie comment les sites r\u00e9pondent aux clients HTTP simples et ce que dit leur robots.txt. Cherchez votre domaine, par exemple <a href=\"https:\/\/onlinewebdirectory.net\/sites\/reddit.com\">reddit.com<\/a> ou <a href=\"https:\/\/onlinewebdirectory.net\/sites\/nytimes.com\">nytimes.com<\/a>, ou lancez le <a href=\"https:\/\/onlinewebdirectory.net\/fr\/check\">test de pr\u00e9paration<\/a> gratuit. La liste des <a href=\"https:\/\/onlinewebdirectory.net\/lists\/blocks-ai-agents\">sites qui bloquent les agents IA<\/a> montre quels domaines refusent les clients simples.<\/p>\n<figure class=\"wp-block-image size-full\"><img class=\"wp-image-574\" srcset=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2-768w.webp 768w, https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp 1200w\" sizes=\"auto, (max-width: 848px) calc(100vw - 48px), 800px\" src=\"https:\/\/onlinewebdirectory.net\/blog\/wp-content\/uploads\/2026\/11\/owd-blocks-list-v2.webp\" alt=\"Liste Online Web Directory des sites qui bloquent les agents IA : 725 des 55 144 sites v\u00e9rifi\u00e9s bloquent les clients HTTP simples\" width=\"1200\" height=\"960\" loading=\"lazy\" decoding=\"async\" \/><figcaption>La liste des sites qui bloquent les agents IA dans Online Web Directory, 20 novembre 2026.<\/figcaption><\/figure>\n<h2 id=\"how-to-control\">Contr\u00f4ler les crawlers IA : six m\u00e9thodes<\/h2>\n<p>Choisissez selon votre objectif. La plupart des sites veulent garder le trafic de la recherche IA, d\u00e9cider au cas par cas pour l&#8217;entra\u00eenement et laisser tranquilles les agents d\u00e9clench\u00e9s par l&#8217;utilisateur.<\/p>\n<h3>M\u00e9thode 1 : bloquer les crawlers d&#8217;entra\u00eenement, garder la recherche IA (robots.txt)<\/h3>\n<p>C&#8217;est la politique la plus courante parmi les sites de notre \u00e9chantillon. Ajoutez ceci au fichier <code>\/robots.txt<\/code> \u00e0 la racine de chaque h\u00f4te que vous servez :<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: CCBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: meta-externalagent\nUser-agent: Amazonbot\nUser-agent: MistralAI-Training\nUser-agent: Bytespider\nDisallow: \/\n\n# Allow AI search crawlers (so you can be cited in AI answers)\nUser-agent: OAI-SearchBot\nUser-agent: Claude-SearchBot\nUser-agent: PerplexityBot\nUser-agent: Amzn-SearchBot\nUser-agent: DuckAssistBot\nUser-agent: MistralAI-Index\nAllow: \/\n\n# Everyone else\nUser-agent: *\nDisallow: \/wp-admin\/<\/code><\/pre>\n<p>Nous avons test\u00e9 ce fichier avec Protego, un analyseur conforme \u00e0 la RFC 9309. R\u00e9sultats pour le chemin <code>\/blog\/<\/code> :<\/p>\n<pre class=\"wp-block-code\"><code>GPTBot             \/blog\/  blocked\nClaudeBot          \/blog\/  blocked\nCCBot              \/blog\/  blocked\nGoogle-Extended    \/blog\/  blocked\nApplebot-Extended  \/blog\/  blocked\nOAI-SearchBot      \/blog\/  allowed\nClaude-SearchBot   \/blog\/  allowed\nPerplexityBot      \/blog\/  allowed\nGooglebot          \/blog\/  allowed\nBingbot            \/blog\/  allowed<\/code><\/pre>\n<p>Empiler plusieurs lignes <code>User-agent<\/code> au-dessus d&#8217;un m\u00eame bloc de r\u00e8gles est valide selon la RFC 9309. Notez que le groupe de recherche IA n&#8217;h\u00e9rite pas de la r\u00e8gle <code>\/wp-admin\/<\/code> du groupe <code>*<\/code> ; ajoutez-la aussi si vous en avez besoin.<\/p>\n<h3>M\u00e9thode 2 : bloquer tous les crawlers IA document\u00e9s (robots.txt)<\/h3>\n<p>Si vous ne voulez aucun usage par l&#8217;IA, ajoutez les jetons de recherche et d&#8217;utilisateur au groupe bloqu\u00e9 : <code>OAI-SearchBot<\/code>, <code>ChatGPT-User<\/code>, <code>Claude-SearchBot<\/code>, <code>Claude-User<\/code>, <code>PerplexityBot<\/code>, <code>Perplexity-User<\/code>, <code>meta-externalfetcher<\/code>, <code>Amzn-SearchBot<\/code>, <code>Amzn-User<\/code>, <code>MistralAI-Index<\/code>, <code>MistralAI-User<\/code> et <code>DuckAssistBot<\/code>. Attendez-vous \u00e0 dispara\u00eetre des r\u00e9ponses IA. Et souvenez-vous que plusieurs fetchers d\u00e9clench\u00e9s par l&#8217;utilisateur disent que robots.txt peut ne pas s&#8217;appliquer \u00e0 eux : c&#8217;est une pr\u00e9f\u00e9rence affich\u00e9e, pas un mur.<\/p>\n<h3>M\u00e9thode 3 : imposer le blocage dans Nginx<\/h3>\n<p>Pour refuser r\u00e9ellement les requ\u00eates, filtrez sur le serveur. Cette configuration renvoie 403 aux crawlers d&#8217;entra\u00eenement sur tous les chemins sauf robots.txt, pour qu&#8217;ils puissent encore lire vos r\u00e8gles. Le bloc <code>map<\/code> se place dans le contexte <code>http<\/code> :<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\nmap $http_user_agent $block_ai_crawler {\n    default 0;\n    \"~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training)\" 1;\n}\nserver {\n    listen 80;\n    root \/var\/www\/html;\n    location = \/robots.txt { }\n    location \/ {\n        if ($block_ai_crawler) { return 403; }\n    }\n}<\/code><\/pre>\n<p>Test\u00e9e avec Nginx 1.26.3 le 20 novembre 2026 : <code>nginx -t<\/code> a r\u00e9ussi, GPTBot a re\u00e7u 403 sur <code>\/<\/code> et 200 sur <code>\/robots.txt<\/code>, tandis que Chrome et OAI-SearchBot ont re\u00e7u 200 sur les deux. Un simple <code>return<\/code> dans un <code>if<\/code> fait partie des usages que Nginx documente comme s\u00fbrs.<\/p>\n<h3>M\u00e9thode 4 : imposer le blocage dans Apache (.htaccess)<\/h3>\n<p>La m\u00eame r\u00e8gle pour Apache avec <code>mod_rewrite<\/code> :<\/p>\n<pre class=\"wp-block-code\"><code># Block AI training crawlers by user agent, but still let them read robots.txt\n&lt;IfModule mod_rewrite.c&gt;\nRewriteEngine On\nRewriteCond %{REQUEST_URI} !^\/robots\\.txt$\nRewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent|Amazonbot|MistralAI-Training) [NC]\nRewriteRule ^ - [F,L]\n&lt;\/IfModule&gt;<\/code><\/pre>\n<p>Test\u00e9 sur Apache 2.4.71 avec <code>AllowOverride All<\/code> : GPTBot a re\u00e7u 403 sur la page d&#8217;accueil et 200 sur robots.txt ; Chrome et OAI-SearchBot ont re\u00e7u 200. Le drapeau <code>[F]<\/code> renvoie 403 Forbidden.<\/p>\n<h3>M\u00e9thode 5 : utiliser les r\u00e8gles de crawlers IA de votre CDN<\/h3>\n<p>Sur Cloudflare, inutile de tenir une liste. Dans Security, Settings, filtrez sur \u00ab Bot traffic \u00bb et ouvrez <strong>AI Crawler and Agent access policies<\/strong>. Cloudflare permet de r\u00e9gler s\u00e9par\u00e9ment les actions pour le trafic Search, Agent et Training. Sa documentation indique que les nouveaux domaines sont r\u00e9gl\u00e9s par d\u00e9faut sur \u00ab Allow (do not block) \u00bb pour les trois, et que \u00ab Disallow \u00bb pour Training ne modifie que robots.txt tant que Bot Preference Sync n&#8217;est pas activ\u00e9. Le tableau de bord AI Crawl Control de Cloudflare montre aussi quels crawlers passent et s&#8217;ils respectent votre robots.txt. Sur les 62 088 sites de notre registre, 6 966 (11,2 %) ont pr\u00e9sent\u00e9 un d\u00e9fi Cloudflare \u00e0 notre outil de v\u00e9rification.<\/p>\n<h3>M\u00e9thode 6 : v\u00e9rifier, puis autoriser<\/h3>\n<p>Les r\u00e8gles par user agent bloquent les bots honn\u00eates et laissent passer les malhonn\u00eates. Si vous bloquez en bordure, associez la r\u00e8gle \u00e0 une v\u00e9rification d&#8217;IP (voir l&#8217;\u00e9tape 4) et laissez passer les agents de recherche et d&#8217;utilisateur v\u00e9rifi\u00e9s. Anthropic pr\u00e9vient que bloquer ses adresses IP peut ne pas fonctionner de fa\u00e7on fiable comme opt-out, car cela emp\u00eache ClaudeBot de lire votre robots.txt. Utilisez robots.txt pour la politique et les v\u00e9rifications d&#8217;IP pour rep\u00e9rer les imposteurs.<\/p>\n<h2 id=\"owd-data\">Ce que 2 124 fichiers robots.txt disent des crawlers IA<\/h2>\n<p>Le 20 novembre 2026, entre 08:01 et 08:03 AEDT, nous avons tir\u00e9 au hasard 3 000 h\u00f4tes parmi les 62 088 sites du <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">jeu de donn\u00e9es ouvert<\/a> d&#8217;Online Web Directory et r\u00e9cup\u00e9r\u00e9 <code>\/robots.txt<\/code> depuis notre serveur. 2 124 ont renvoy\u00e9 un fichier exploitable. Un jeton est \u00ab nomm\u00e9 \u00bb s&#8217;il a sa propre ligne <code>User-agent<\/code>, et \u00ab enti\u00e8rement bloqu\u00e9 \u00bb si ce groupe contient <code>Disallow: \/<\/code> sans <code>Allow: \/<\/code>.<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Jeton robots.txt<\/th>\n<th>Nomm\u00e9<\/th>\n<th>Enti\u00e8rement bloqu\u00e9<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>GPTBot<\/code><\/td>\n<td>23.6%<\/td>\n<td>16.9%<\/td>\n<\/tr>\n<tr>\n<td><code>ClaudeBot<\/code><\/td>\n<td>22.0%<\/td>\n<td>15.9%<\/td>\n<\/tr>\n<tr>\n<td><code>CCBot<\/code><\/td>\n<td>20.6%<\/td>\n<td>17.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Google-Extended<\/code><\/td>\n<td>19.4%<\/td>\n<td>14.1%<\/td>\n<\/tr>\n<tr>\n<td><code>Bytespider<\/code><\/td>\n<td>18.5%<\/td>\n<td>16.6%<\/td>\n<\/tr>\n<tr>\n<td><code>Amazonbot<\/code><\/td>\n<td>17.4%<\/td>\n<td>14.3%<\/td>\n<\/tr>\n<tr>\n<td><code>meta-externalagent<\/code><\/td>\n<td>16.7%<\/td>\n<td>14.0%<\/td>\n<\/tr>\n<tr>\n<td><code>Applebot-Extended<\/code><\/td>\n<td>16.6%<\/td>\n<td>13.5%<\/td>\n<\/tr>\n<tr>\n<td><code>anthropic-ai<\/code> (ancien)<\/td>\n<td>15.6%<\/td>\n<td>13.3%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-Web<\/code> (ancien)<\/td>\n<td>13.8%<\/td>\n<td>12.2%<\/td>\n<\/tr>\n<tr>\n<td><code>PerplexityBot<\/code><\/td>\n<td>12.4%<\/td>\n<td>5.8%<\/td>\n<\/tr>\n<tr>\n<td><code>ChatGPT-User<\/code><\/td>\n<td>12.2%<\/td>\n<td>5.9%<\/td>\n<\/tr>\n<tr>\n<td><code>OAI-SearchBot<\/code><\/td>\n<td>9.3%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-User<\/code><\/td>\n<td>6.5%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Perplexity-User<\/code><\/td>\n<td>6.4%<\/td>\n<td>3.2%<\/td>\n<\/tr>\n<tr>\n<td><code>Claude-SearchBot<\/code><\/td>\n<td>6.2%<\/td>\n<td>2.8%<\/td>\n<\/tr>\n<tr>\n<td><code>DuckAssistBot<\/code><\/td>\n<td>4.2%<\/td>\n<td>2.7%<\/td>\n<\/tr>\n<tr>\n<td><code>MistralAI-User<\/code><\/td>\n<td>3.7%<\/td>\n<td>2.6%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>Quatre constats ressortent :<\/p>\n<ul>\n<li><strong>La plupart des sites ne mentionnent pas du tout les crawlers IA.<\/strong> 629 fichiers sur 2 124 (29,6 %) nomment au moins un jeton propre \u00e0 l&#8217;IA. Ceux qui le font en nomment souvent beaucoup : la m\u00e9diane est de 12 jetons, et 357 fichiers en nomment 10 ou plus, signe de listes de blocage copi\u00e9es.<\/li>\n<li><strong>L&#8217;entra\u00eenement est bloqu\u00e9, la recherche non.<\/strong> GPTBot est enti\u00e8rement bloqu\u00e9 six fois plus souvent qu&#8217;OAI-SearchBot (16,9 % contre 2,8 %).<\/li>\n<li><strong>robots.txt et acc\u00e8s r\u00e9el ne concordent pas.<\/strong> Sur les 358 sites qui bloquent enti\u00e8rement GPTBot dans robots.txt, 284 (79 %) \u00e9taient \u00ab ouverts \u00bb lors du contr\u00f4le d&#8217;acc\u00e8s d&#8217;OWD : rien sur le serveur n&#8217;arr\u00eatait un client simple.<\/li>\n<li><strong>Les interdictions totales sont rares.<\/strong> Seuls 13 fichiers (0,6 %) interdisent tout \u00e0 tous les user agents.<\/li>\n<\/ul>\n<p>Le registre complet raconte la m\u00eame histoire de l&#8217;autre c\u00f4t\u00e9. Voici les r\u00e9sultats d&#8217;acc\u00e8s des 62 088 sites, v\u00e9rifi\u00e9s pour la derni\u00e8re fois entre le 11 octobre et le 19 novembre 2026 :<\/p>\n<figure class=\"wp-block-table owd-table\">\n<table>\n<thead>\n<tr>\n<th>Ce qu&#8217;a rencontr\u00e9 un client HTTP simple<\/th>\n<th>Sites<\/th>\n<th>Part<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Ouvert<\/td>\n<td>50,844<\/td>\n<td>81.9%<\/td>\n<\/tr>\n<tr>\n<td>D\u00e9fi anti-bots<\/td>\n<td>7,821<\/td>\n<td>12.6%<\/td>\n<\/tr>\n<tr>\n<td>Bloqu\u00e9<\/td>\n<td>3,060<\/td>\n<td>4.9%<\/td>\n<\/tr>\n<tr>\n<td>D\u00e9bit limit\u00e9<\/td>\n<td>199<\/td>\n<td>0.3%<\/td>\n<\/tr>\n<tr>\n<td>Connexion requise<\/td>\n<td>150<\/td>\n<td>0.2%<\/td>\n<\/tr>\n<tr>\n<td>Paywall<\/td>\n<td>14<\/td>\n<td>0.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/figure>\n<p>T\u00e9l\u00e9chargez le jeu de donn\u00e9es complet (CC BY 4.0) sur <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">onlinewebdirectory.net\/exports\/sites.csv<\/a> ou consultez le <a href=\"https:\/\/onlinewebdirectory.net\/reports\/ai-agent-access\">rapport sur l&#8217;acc\u00e8s des agents IA<\/a>.<\/p>\n<h2 id=\"related-errors\">Erreurs et r\u00e9ponses associ\u00e9es<\/h2>\n<ul>\n<li><strong>403 Forbidden.<\/strong> Votre serveur, CDN ou pare-feu a refus\u00e9 la requ\u00eate. Ce n&#8217;est jamais caus\u00e9 par robots.txt lui-m\u00eame, et ce n&#8217;est pas permanent : changez la r\u00e8gle et la requ\u00eate suivante peut aboutir.<\/li>\n<li><strong>429 Too Many Requests.<\/strong> Limitation de d\u00e9bit. Reddit a renvoy\u00e9 ce code \u00e0 notre requ\u00eate ClaudeBot. Anthropic prend en charge <code>Crawl-delay<\/code>, une solution plus douce pour ClaudeBot.<\/li>\n<li><strong>202 au corps vide, ou page de d\u00e9fi 503.<\/strong> En g\u00e9n\u00e9ral un d\u00e9fi JavaScript ou CAPTCHA. Les crawlers ne peuvent pas le r\u00e9soudre : pour eux, la page est bloqu\u00e9e m\u00eame sans 403.<\/li>\n<li><strong>robots.txt renvoie un 4xx.<\/strong> Selon la RFC 9309, une r\u00e9ponse entre 400 et 499 signifie que le fichier est \u00ab indisponible \u00bb et que les crawlers peuvent tout explorer. Dans notre \u00e9chantillon, 314 sites sur 3 000 (10,5 %) ont r\u00e9pondu 403 \u00e0 notre demande de robots.txt, ce qu&#8217;un crawler conforme lirait comme une absence de r\u00e8gles.<\/li>\n<li><strong>robots.txt renvoie un 5xx ou ne r\u00e9pond pas.<\/strong> La RFC 9309 impose alors aux crawlers de supposer une interdiction totale : une panne de robots.txt peut donc bloquer en silence tous les crawlers, Googlebot compris.<\/li>\n<li><strong>robots.txt de plus de 500 Kio.<\/strong> La RFC 9309 n&#8217;oblige les crawlers qu&#8217;\u00e0 analyser les 500 premiers Kio : les r\u00e8gles au-del\u00e0 peuvent \u00eatre ignor\u00e9es.<\/li>\n<\/ul>\n<p>Si vous publiez un fichier llms.txt pour les agents IA, assurez-vous que les bots autoris\u00e9s peuvent vraiment le r\u00e9cup\u00e9rer. Notre <a href=\"\/blog\/fr\/llms-txt\/basics\/qu-est-ce-que-llms-txt\/\">guide llms.txt<\/a> explique comment le tester.<\/p>\n<h2 id=\"summary\">R\u00e9sum\u00e9<\/h2>\n<p>Une liste fiable de crawlers IA part de la documentation des op\u00e9rateurs, pas d&#8217;autres listes. Aujourd&#8217;hui, cela repr\u00e9sente environ 20 user agents de 9 entreprises, en trois types : crawlers d&#8217;entra\u00eenement, crawlers de recherche IA et agents d\u00e9clench\u00e9s par l&#8217;utilisateur, plus deux jetons de contr\u00f4le (Google-Extended et Applebot-Extended) qui n&#8217;explorent jamais. La plupart des sites qui agissent bloquent l&#8217;entra\u00eenement et gardent la recherche, et robots.txt n&#8217;est qu&#8217;une demande : si vous avez besoin d&#8217;un vrai blocage, imposez-le sur le serveur ou le CDN et v\u00e9rifiez les IP.<\/p>\n<p>Les agents IA consultent d\u00e9j\u00e0 les sites dans Online Web Directory avant de les visiter. Si la fiche de votre site est fausse, ou si vous voulez que les agents connaissent votre API, votre serveur MCP ou vos autorisations IA, <a href=\"https:\/\/onlinewebdirectory.net\/fr\/claim\">revendiquez votre site pour 25 $<\/a>. Vous pouvez d&#8217;abord lancer le <a href=\"https:\/\/onlinewebdirectory.net\/fr\/check\">test de pr\u00e9paration<\/a> gratuit.<\/p>\n<h2 id=\"faq\">Questions fr\u00e9quentes<\/h2>\n<h3>Quel est le user agent de ChatGPT ?<\/h3>\n<p>ChatGPT en utilise trois. GPTBot collecte des donn\u00e9es d&#8217;entra\u00eenement, OAI-SearchBot indexe des pages pour la recherche ChatGPT et ChatGPT-User r\u00e9cup\u00e8re une page quand un utilisateur la demande. Leurs jetons robots.txt sont <code>GPTBot<\/code>, <code>OAI-SearchBot<\/code> et <code>ChatGPT-User<\/code>.<\/p>\n<h3>Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?<\/h3>\n<p>Non. OpenAI pilote la recherche via OAI-SearchBot. Vous pouvez bloquer GPTBot pour refuser l&#8217;entra\u00eenement et autoriser OAI-SearchBot pour que vos pages apparaissent et soient cit\u00e9es dans la recherche ChatGPT.<\/p>\n<h3>Google-Extended est-il un crawler ?<\/h3>\n<p>Non. Google indique que Google-Extended n&#8217;a pas de user agent distinct. C&#8217;est Googlebot qui explore, et le jeton Google-Extended contr\u00f4le seulement si ce contenu peut servir \u00e0 entra\u00eener et ancrer Gemini. Il n&#8217;a aucun effet sur le classement dans la recherche Google.<\/p>\n<h3>Les crawlers IA respectent-ils robots.txt ?<\/h3>\n<p>Les crawlers d&#8217;entra\u00eenement et de recherche document\u00e9s dans cette liste disent que oui. Les fetchers d\u00e9clench\u00e9s par l&#8217;utilisateur, comme ChatGPT-User, Perplexity-User et Meta-ExternalFetcher, disent que robots.txt peut ne pas s&#8217;appliquer, car une personne a demand\u00e9 la page. Les scrapers non document\u00e9s peuvent l&#8217;ignorer compl\u00e8tement.<\/p>\n<h3>Comment savoir si un bot est vraiment GPTBot ou ClaudeBot ?<\/h3>\n<p>V\u00e9rifiez l&#8217;IP source. OpenAI publie ses plages dans <code>gptbot.json<\/code>, <code>searchbot.json<\/code> et <code>chatgpt-user.json<\/code> ; Perplexity, DuckDuckGo, Mistral et Google publient les leurs. Un user agent correspondant venant d&#8217;une IP non list\u00e9e est un imposteur.<\/p>\n<h2 id=\"sources\">Sources<\/h2>\n<ol>\n<li>OpenAI, <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">Overview of OpenAI crawlers<\/a> (consult\u00e9 le 20 nov. 2026)<\/li>\n<li>Anthropic, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Does Anthropic crawl data from the web, and how can site owners block the crawler?<\/a><\/li>\n<li>Google, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google&#8217;s common crawlers<\/a> et <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-user-triggered-fetchers\" target=\"_blank\" rel=\"noopener\">user-triggered fetchers<\/a><\/li>\n<li>Perplexity, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity crawlers<\/a><\/li>\n<li>Apple, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">About Applebot<\/a><\/li>\n<li>Meta, <a href=\"https:\/\/developers.facebook.com\/docs\/sharing\/webmasters\/web-crawlers\/\" target=\"_blank\" rel=\"noopener\">Meta web crawlers<\/a><\/li>\n<li>Amazon, <a href=\"https:\/\/developer.amazon.com\/docs\/amazonbot\/amazonbot.html\" target=\"_blank\" rel=\"noopener\">Amazonbot and Amazon crawlers<\/a><\/li>\n<li>Common Crawl, <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">CCBot<\/a><\/li>\n<li>Mistral AI, <a href=\"https:\/\/docs.mistral.ai\/robots\" target=\"_blank\" rel=\"noopener\">Mistral AI robots<\/a><\/li>\n<li>DuckDuckGo, <a href=\"https:\/\/duckduckgo.com\/duckduckgo-help-pages\/results\/duckassistbot\" target=\"_blank\" rel=\"noopener\">About DuckAssistBot<\/a><\/li>\n<li>IETF, <a href=\"https:\/\/www.rfc-editor.org\/rfc\/rfc9309.html\" target=\"_blank\" rel=\"noopener\">RFC 9309: Robots Exclusion Protocol<\/a><\/li>\n<li>Cloudflare, <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\" target=\"_blank\" rel=\"noopener\">AI Crawler and Agent access policies<\/a> et <a href=\"https:\/\/developers.cloudflare.com\/ai-crawl-control\/\" target=\"_blank\" rel=\"noopener\">AI Crawl Control<\/a><\/li>\n<li>Online Web Directory, <a href=\"https:\/\/onlinewebdirectory.net\/exports\/sites.csv\">jeu de donn\u00e9es ouvert des sites<\/a> (62 088 sites, export\u00e9 le 20 nov. 2026) et notre \u00e9chantillon robots.txt de 3 000 h\u00f4tes<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"<p>Une liste v\u00e9rifi\u00e9e des crawlers et user agents IA en 2026 (GPTBot, ClaudeBot, PerplexityBot et d&#8217;autres) : r\u00f4le de chacun, r\u00e8gles de blocage test\u00e9es et donn\u00e9es robots.txt de 2 124 sites.<\/p>\n","protected":false},"author":2,"featured_media":557,"comment_status":"closed","ping_status":"open","sticky":false,"template":"owd-single-fr","format":"standard","meta":{"footnotes":""},"categories":[713],"tags":[],"class_list":["post-586","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-crawler-list"],"lang":"fr","translations":{"fr":586,"en":567,"de":580,"es":582,"pt":584,"it":588,"nl":590,"sv":592,"pl":594,"cs":596,"ru":598,"uk":600,"tr":602,"ja":604,"ar":606,"zh":608,"ko":610,"hi":612,"id":614,"vi":616,"th":618},"_links":{"self":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/586","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/comments?post=586"}],"version-history":[{"count":1,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/586\/revisions"}],"predecessor-version":[{"id":587,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/posts\/586\/revisions\/587"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media\/557"}],"wp:attachment":[{"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/media?parent=586"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/categories?post=586"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/onlinewebdirectory.net\/blog\/wp-json\/wp\/v2\/tags?post=586"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}