Cloudflare a commencé à bloquer par défaut les crawlers IA de type Training et Agent sur les pages diffusant des publicités le 15 septembre 2026, en répartissant ses règles de bots en trois catégories : Search, Agent et Training. Pour toute marque dont la visibilité dépend de l'accès de GPTBot, ClaudeBot ou PerplexityBot à son contenu, ce défaut vient de changer, et la seule façon de savoir si cela a modifié quelque chose sur votre propre site est de lire le log serveur brut, pas le tableau de bord analytics. Les outils de trafic enregistrent les visiteurs humains. Les logs serveur enregistrent ce que les crawlers ont réellement fait : quelles pages ils ont consultées, à quelle fréquence, et s'ils ont reçu un code 200 ou un blocage.
Pourquoi votre tableau de bord analytics passe à côté de presque tout
Google Analytics et la plupart des outils de visibilité IA n'enregistrent une visite que lorsqu'un navigateur charge du JavaScript et déclenche un tag de suivi. GPTBot, ClaudeBot et PerplexityBot ne font jamais cela. Ils demandent le HTML brut directement à votre serveur puis passent à autre chose, si bien que leur activité ne touche jamais votre compte analytics.
C'est exactement cet écart que comble un log serveur. Chaque requête traitée par votre serveur web est écrite dans un log d'accès brut : l'IP à l'origine de la requête, la chaîne user agent, l'URL, le code de réponse et un horodatage. Rien dans cet enregistrement ne dépend de l'exécution de JavaScript ou de la présence d'un script, ce qui en fait la seule source de vérité complète sur le comportement des crawlers sur un site. Les agences qui gèrent plusieurs domaines clients constatent souvent que c'est la première fois qu'elles voient l'activité des bots IA détaillée par client, plutôt que noyée dans une seule ligne indifférenciée de trafic de bots.
Les crawlers qui méritent vraiment d'être suivis
Une poignée de user agents représente la quasi-totalité du trafic de crawlers IA sur un site typique. Chez OpenAI : GPTBot pour l'entraînement, OAI-SearchBot pour l'indexation de recherche, et ChatGPT-User pour les requêtes déclenchées par une question en direct d'un utilisateur. Chez Anthropic : ClaudeBot pour l'entraînement, Claude-SearchBot pour l'indexation de recherche, et Claude-User pour les requêtes en direct. Puis PerplexityBot, Google-Extended, Amazonbot, Bytespider, CCBot et Applebot-Extended complètent la liste que la plupart des logs afficheront.
Chacun remplit une fonction différente, et les regrouper dans une seule catégorie de bots IA dans un rapport de logs masque le schéma qui compte vraiment : savoir si les crawlers qui indexent le contenu pour citation y accèdent réellement, indépendamment des crawlers qui l'extraient pour l'entraînement des modèles. Une marque qui vise des citations sur ChatGPT Search doit spécifiquement surveiller l'activité d'OAI-SearchBot et de ChatGPT-User. L'activité de GPTBot relève d'une question de données d'entraînement, pas de visibilité, et confondre les deux dans un rapport oriente une équipe vers la mauvaise solution.
Comment distinguer un crawler authentique d'un crawler usurpé
N'importe quel script peut définir sa chaîne user agent sur ClaudeBot ou GPTBot. Une ligne de log prétendant être un crawler nommé ne prouve rien en soi, c'est pourquoi la vérification doit se faire au niveau du réseau, pas au niveau de la chaîne de caractères.
Anthropic publie les plages d'IP réellement utilisées par ses bots sur claude.com/crawling/bots.json, et la documentation d'Anthropic sur ses crawlers recommande de vérifier par rapport à cette liste plutôt que de bloquer par IP, en précisant que le blocage par IP peut ne pas fonctionner correctement ou durablement. Le système de bots vérifiés de Cloudflare effectue automatiquement le contrôle équivalent par DNS inversé pour tout site derrière lui. Une approche plus récente se passe entièrement des listes d'IP : Web Bot Auth, une norme de signature cryptographique construite sur deux drafts IETF, permet à un crawler d'attacher une identité signée à chaque requête. AWS en a ajouté le support à WAF en novembre 2025, et une requête vérifiée est automatiquement autorisée sans aucune liste d'IP à maintenir. Les outils de logs dédiés ont eux aussi rattrapé leur retard : le Log File Analyser de Screaming Frog vérifie les bots de recherche et IA par rapport aux plages connues directement dans l'outil et signale toute requête usurpant l'un d'entre eux.
Un log serveur ne se soucie pas de ce qu'un crawler prétend être. Il enregistre seulement ce qu'il a fait : quelle URL, quel code de statut, et combien de fois.
Ce que change réellement le nouveau défaut de Cloudflare de septembre 2026
Les nouvelles règles de Cloudflare classent chaque crawler dans l'un de trois comportements plutôt que dans une étiquette unique et indifférenciée de bot IA : les crawlers Search qui indexent le contenu pour répondre à des questions à son sujet, les crawlers Agent qui agissent en temps réel pour le compte d'une personne, et les crawlers Training qui absorbent le contenu dans un modèle. À ce jour, les bots Training et Agent sont bloqués par défaut sur toute page affichant des publicités, tandis que les crawlers Search restent autorisés.
Il s'agit d'un changement significatif par rapport au blocage accidentel que ce blog avait couvert en mai, où des sites perdaient leur visibilité IA sans savoir que leur CDN en était la cause. Cette fois, le blocage est délibéré et annoncé, ce qui signifie que la correction est une vérification de paramètres, pas un travail de découverte. Un site qui veut que ChatGPT Search ou le moteur de réponse de Perplexity continue à le citer doit confirmer que ces crawlers spécifiques sont toujours classés et autorisés en tant que Search, et non basculés dans le nouveau défaut Training ou Agent. Le log est l'endroit où cette confirmation apparaît en premier, des jours avant qu'un tableau de bord ne reflète un changement de citations.
Lire le log : quatre schémas qui comptent
Une fois l'activité vérifiée des crawlers isolée du bruit, quatre éléments méritent d'être vérifiés régulièrement :
Fréquence de crawl par bot. Une chute soudaine pour un crawler nommé, alors que les autres restent stables, indique généralement un changement dans le robots.txt, un défaut du CDN ou une limite de débit, plutôt qu'un problème lié au contenu lui-même.
Codes de statut sur les URL explorées. Un crawler qui accède à vos pages les plus importantes et reçoit des erreurs 403 ou 5xx est bloqué ou échoue silencieusement, et ne citera pas ce contenu, aussi bien écrit soit-il.
Quelles URL sont réellement demandées. Les crawlers qui ne touchent qu'une page d'accueil et une poignée de pages principales n'ont pas découvert le contenu plus profond sur lequel un site compte pour ses citations.
L'écart entre le volume de crawl et le trafic de référencement. C'est exactement le schéma que le ratio exploration/référencement suit au niveau du compte, et le log est l'endroit où vivent réellement les chiffres bruts derrière ce ratio.
L'ampleur de ce dernier écart dépasse ce que la plupart des marketeurs imaginent. Les données de suivi de bots d'Ahrefs de mars 2026 ont enregistré 1,1 million de requêtes ChatGPT-User sur l'ensemble des sites qu'elle surveille ce mois-là, aux côtés de 174 000 requêtes du crawler de Meta et 102 000 de ClaudeBot, tandis que les chatbots IA combinés n'ont envoyé que 3,5 millions de visiteurs humains à l'échelle du secteur, soit seulement 0,28 % du trafic web suivi contre 28,12 % pour Google. Le volume de crawl et le volume de citations ne sont pas le même chiffre, et un log est le seul endroit où cette distinction est visible sous forme brute.
Transformer les données de logs en liste d'actions correctives
Un audit de logs n'est utile que s'il change ce qui se passe ensuite. Si un crawler rencontre des erreurs 4xx ou 5xx sur des pages clés, il s'agit d'un problème de rendu JavaScript ou de configuration serveur à corriger directement, pas d'un problème de contenu. Si un crawler que votre robots.txt devrait autoriser est totalement absent, vérifiez les directives réellement respectées par chaque bot plutôt que de supposer que le fichier fonctionne comme écrit.
Si la couverture de crawl paraît faible sur des pages qui devraient être citables, la solution n'est généralement pas plus de contenu, mais une meilleure structure : le balisage schema qui aide les moteurs à analyser et citer une page avec précision une fois qu'ils l'ont déjà atteinte. Et si ClaudeBot affiche spécifiquement un volume de crawl sain mais que les citations restent à la traîne, l'écart se situe probablement dans la manière dont le contenu est rédigé pour le mode de récupération de Claude, plutôt que dans le fait qu'il soit atteint ou non, ce qui est exactement le problème que traite le guide de citation Claude. Les logs vous disent si un crawler y est allé. Ils ne vous disent pas si ce qu'il a trouvé valait la peine d'être cité, et cette seconde question nécessite encore une réponse humaine.
Questions fréquemment posées
Quelle est la différence entre vérifier Google Analytics et vérifier les logs serveur pour les crawlers IA ?
Google Analytics et la plupart des tableaux de bord de visibilité IA n'enregistrent une visite que lorsqu'un navigateur charge du JavaScript et déclenche un tag de suivi. GPTBot, ClaudeBot et PerplexityBot récupèrent directement le HTML brut et n'exécutent jamais ce script, si bien que leurs requêtes n'apparaissent jamais dans les outils analytics. Les logs serveur enregistrent chaque requête HTTP reçue par un serveur, indépendamment du JavaScript, ce qui en fait le seul relevé complet de l'activité des crawlers IA sur un site.
Comment vérifier qu'un bot prétendant être GPTBot ou ClaudeBot est authentique ?
Recoupez l'adresse IP de la requête avec la plage publiée du crawler. Anthropic liste ses adresses sur claude.com/crawling/bots.json, et le système de bots vérifiés de Cloudflare effectue automatiquement un contrôle équivalent par DNS inversé. Un nombre croissant de crawlers prend également en charge Web Bot Auth, une norme de signature cryptographique qui prouve l'identité d'une requête sans dépendre d'une liste d'IP.
Pourquoi les crawlers IA visitent-ils bien plus souvent qu'ils n'envoient de véritables visiteurs ?
Explorer et référencer sont deux tâches différentes. Un crawler indexe ou s'entraîne sur du contenu bien avant qu'un utilisateur ne pose une question sur une marque, si bien que le volume de crawl reflète une activité d'indexation, pas un intérêt des lecteurs. Ahrefs a mesuré cet écart directement en mars 2026 : les chatbots IA combinés ont envoyé 3,5 millions de visiteurs ce mois-là, soit seulement 0,28 % du trafic web suivi, tandis que chaque crawler enregistrait individuellement des centaines de milliers de requêtes.
Bloquer un crawler IA dans le robots.txt l'empêche-t-il réellement d'accéder à un site ?
Pour les crawlers qui respectent le robots.txt, oui. Anthropic indique que ClaudeBot respecte les directives standard, et une règle Disallow ou une ligne Crawl-delay prend effet dès la prochaine vérification du fichier par le bot. Cela ne supprimera pas rétroactivement le contenu déjà utilisé pour l'entraînement, et cela n'a aucun effet sur un crawler qui ignore le standard, ce qui explique exactement pourquoi les logs serveur comptent : ils montrent si un blocage a réellement tenu.
Qu'est-ce qui a changé dans la politique de bots IA de Cloudflare le 15 septembre 2026 ?
Cloudflare a réparti la gestion de ses bots en trois catégories : Search, Agent et Training. Sur les pages qui affichent des publicités, les crawlers Training et Agent sont désormais bloqués par défaut, tandis que les crawlers Search qui répondent à des questions sur le contenu restent autorisés. Les sites qui souhaitent que les crawlers IA restent actifs à des fins de citation doivent vérifier leurs paramètres Cloudflare plutôt que de supposer que les anciens défauts s'appliquent toujours.
Quels outils permettent d'analyser les logs serveur pour le trafic de bots IA sans embaucher un développeur ?
Le Log File Analyser de Screaming Frog et des outils open source comme GoAccess analysent tous deux les logs d'accès bruts, identifient le user agent de chaque requête et distinguent les bots vérifiés des bots usurpés. La plupart des hébergeurs et CDN, y compris Cloudflare, exposent aussi des exports de logs bruts ou agrégés dans leurs tableaux de bord, si bien que récupérer ces données ne nécessite pas d'accès direct au serveur.