Le 1er juillet 2025, Cloudflare a modifié son paramètre par défaut pour tous les nouveaux domaines : bloquer l'intégralité des crawlers IA. Cloudflare protège environ 20% de tous les sites internet dans le monde. Ça signifie qu'une part significative du web est passée du jour au lendemain de « les IA peuvent crawler par défaut » à « les IA ont besoin d'une autorisation explicite ». Si votre site a été ajouté à Cloudflare après cette date, ou si quelqu'un a activé ce paramètre sur votre domaine existant, vous êtes peut-être invisible dans ChatGPT, Perplexity et Claude en ce moment même. Et vos logs serveur ne vous le diront jamais.
Pourquoi c'est invisible dans vos outils habituels
C'est là que le problème est particulièrement traître. Quand Cloudflare bloque un crawler IA, il le fait au niveau de l'edge, avant même que la requête n'atteigne votre serveur. Votre serveur ne voit rien. Vos logs d'accès ne montrent rien. GA4 ne voit rien. La réponse 403 est envoyée silencieusement par Cloudflare, et les seules traces apparaissent dans le tableau de bord sécurité de Cloudflare lui-même, que la plupart des équipes marketing ne consultent jamais.
Résultat : vous publiez du contenu GEO-optimisé, vous travaillez votre structure, vos sources, votre schema markup, et les moteurs IA ne peuvent tout simplement pas lire vos pages. Le crawler reçoit une erreur 403 et passe à la source suivante. Votre concurrent, qui n'a pas Cloudflare ou qui a correctement configuré ses accès, se retrouve cité à votre place.
La distinction essentielle que presque tout le monde rate
Il existe deux types de crawlers IA fondamentalement différents et la confusion entre les deux est à l'origine de la plupart des erreurs de configuration. Les crawlers d'entraînement collectent vos contenus pour construire ou affiner les modèles de langage. Ils n'ont aucun impact sur ce que ChatGPT ou Perplexity répondent à vos prospects en temps réel. Les crawlers de récupération, eux, permettent aux moteurs IA d'aller chercher des sources en temps réel pour citer dans leurs réponses. Bloquer ces derniers, c'est se rendre invisible dans les résultats IA.
La confusion la plus courante concerne OpenAI. GPTBot est le crawler d'entraînement d'OpenAI : vous pouvez le bloquer sans aucun impact sur votre visibilité dans ChatGPT. OAI-SearchBot est le crawler de récupération utilisé pour les réponses ChatGPT Search : si vous le bloquez, votre site disparaît complètement des réponses ChatGPT. Ces deux bots appartiennent à OpenAI mais ont des fonctions opposées. Beaucoup d'équipes bloquent GPTBot en pensant « protéger leur contenu » et ne réalisent pas qu'elles ont aussi bloqué OAI-SearchBot, effaçant ainsi leur visibilité dans ChatGPT.
La liste complète des crawlers IA à autoriser en 2026
Pour conserver votre visibilité dans les citations IA tout en protégeant vos contenus contre l'entraînement non consenti, voici la liste des crawlers de récupération à explicitement autoriser. Pour ChatGPT Search : OAI-SearchBot et ChatGPT-User. Pour Perplexity : PerplexityBot. Pour Claude : ClaudeBot, Claude-SearchBot et Claude-User. Attention, les anciens identifiants Claude-Web et anthropic-ai sont dépréciés et ne bloquent plus rien en 2026. Si votre robots.txt utilise encore ces chaînes, vos règles ne s'appliquent pas aux crawlers Anthropic actuels.
Les crawlers d'entraînement que vous pouvez bloquer sans impact sur votre visibilité IA : GPTBot (entraînement OpenAI), CCBot (entraînement Common Crawl), Google-Extended (entraînement Gemini, indépendant de Google Search), et Applebot-Extended (entraînement Apple IA). Bloquer Google-Extended ne vous retire pas de Google Search ni de Google AI Overviews : ces dernières utilisent Googlebot standard, un système séparé.
Comment vérifier votre configuration Cloudflare en 5 minutes
Connectez-vous à votre tableau de bord Cloudflare. Allez dans Security, puis Bots, puis AI Crawl Control. Si le paramètre Block on all pages est activé, tous vos crawlers IA sont bloqués. Vous verrez également dans l'onglet Crawlers la liste des bots qui ont tenté d'accéder à votre site, le nombre de requêtes, et si elles ont été autorisées ou bloquées. C'est la source de vérité sur ce que les moteurs IA voient de votre site.
Une deuxième vérification indépendante : chargez directement votre robots.txt dans un navigateur en allant sur votredomaine.com/robots.txt et vérifiez les directives présentes pour les agents OAI-SearchBot, PerplexityBot et ClaudeBot. Si vous voyez Disallow: / pour ces agents, votre visibilité IA est coupée. Attention : Cloudflare peut injecter ses propres directives dans votre robots.txt à l'edge, ce qui signifie que le fichier servi aux crawlers peut être différent de celui sur votre serveur. Toujours vérifier la version servie publiquement.
La configuration robots.txt idéale pour 2026
L'objectif est d'autoriser les crawlers de récupération (qui génèrent vos citations IA) tout en bloquant les crawlers d'entraînement (qui exploitent votre contenu sans compensation). Voici la logique de configuration à appliquer dans votre robots.txt. Autorisez OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot et Bingbot. Bloquez GPTBot, CCBot, Google-Extended et Applebot-Extended si vous souhaitez protéger vos contenus contre l'entraînement non consenti.
Important : sur Cloudflare, la règle managed AI Block a priorité sur votre robots.txt. Même si votre robots.txt autorise OAI-SearchBot, Cloudflare peut le bloquer à l'edge avant que le crawler ne lise votre fichier. Les deux configurations doivent être alignées. Commencez toujours par désactiver ou configurer le paramètre AI Crawl Control dans le tableau de bord Cloudflare, puis ajustez votre robots.txt en cohérence.
Vérifier que les corrections fonctionnent vraiment
Après avoir modifié vos paramètres, attendez 24 à 48 heures. Les crawlers IA re-lisent généralement le robots.txt avant chaque session de crawl, mais les changements de configuration Cloudflare prennent effet immédiatement. Vous pouvez vérifier en consultant les logs Bot Analytics dans Cloudflare sur les jours suivant la correction : vous devriez voir les crawlers concernés passer de Blocked à Allowed.
Une vérification ultime et complète : interroger directement les LLMs sur vos prompts cibles et voir si votre domaine commence à être cité dans leurs réponses. C'est la seule méthode qui confirme que l'autorisation du crawler se traduit effectivement en citation. Les bots peuvent crawler votre site sans nécessairement le citer : la configuration est nécessaire mais non suffisante. Le contenu reste le juge de paix final.
Configuration Cloudflare correcte et toujours invisible dans les IA : que faire ?
Si vos crawlers sont autorisés et que vous n'êtes toujours pas cité dans ChatGPT ou Perplexity sur vos requêtes cibles, le problème n'est plus technique. C'est un problème de contenu et d'autorité de citation. La configuration Cloudflare est la condition nécessaire : sans elle, rien n'est possible. Mais ce n'est pas suffisant pour être cité. Il faut ensuite que votre contenu soit structuré de façon à être extractable, que votre autorité thématique soit suffisante, et que vous soyez présent sur les sources tierces que les LLMs consultent en priorité.
Mesurez votre visibilité réelle dans les LLMs avec Vizible AI
Corriger votre configuration Cloudflare est la première étape. Mais comment savoir si vous êtes effectivement cité dans ChatGPT, Perplexity ou Gemini sur les sujets où vos acheteurs font leurs recherches ? La seule méthode fiable est d'interroger directement les modèles sur vos prompts cibles. C'est ce que fait Vizible AI : la plateforme envoie automatiquement vos prompts à ChatGPT, Gemini, Perplexity, Claude, Mistral, DeepSeek et Groq chaque jour, enregistre si votre marque est mentionnée, à quelle position, et identifie qui est cité à votre place quand vous ne l'êtes pas. C'est le seul moyen de confirmer que votre configuration technique se traduit réellement en visibilité dans les réponses IA.
Questions fréquentes
Comment savoir si Cloudflare bloque mes crawlers IA ?
Connectez-vous à votre tableau de bord Cloudflare, allez dans Security, Bots, AI Crawl Control. Vérifiez si Block on all pages est activé et consultez l'onglet Crawlers pour voir les bots bloqués. Vérifiez également votre robots.txt public sur votredomaine.com/robots.txt pour les directives Disallow sur les agents de récupération IA.
Bloquer GPTBot m'empêche-t-il d'apparaître dans ChatGPT ?
Non. GPTBot est le crawler d'entraînement d'OpenAI, pas le crawler de recherche en temps réel. Ce qui détermine votre visibilité dans ChatGPT Search, c'est OAI-SearchBot. Vous pouvez bloquer GPTBot sans aucun impact sur vos citations dans les réponses ChatGPT, à condition qu'OAI-SearchBot soit autorisé.
Bloquer Google-Extended retire-t-il mon site de Google AI Overviews ?
Non. Google AI Overviews utilisent Googlebot standard, pas Google-Extended. Google-Extended contrôle uniquement si votre contenu peut entrer dans les données d'entraînement de Gemini. Les deux systèmes sont indépendants et vous pouvez bloquer Google-Extended tout en restant visible dans AI Overviews.
Cloudflare peut-il ignorer mon robots.txt ?
Oui. Cloudflare opère au niveau de l'edge et peut bloquer les crawlers avant qu'ils aient lu votre robots.txt. La règle managed AI Block de Cloudflare a priorité sur toutes les règles robots.txt et WAF. Il faut donc configurer les deux en cohérence : désactiver ou paramétrer AI Crawl Control dans Cloudflare ET ajuster votre robots.txt.
Mon site a été créé avant juillet 2025 : suis-je concerné ?
Le paramètre par défaut Block on all pages s'applique aux nouveaux domaines ajoutés après le 1er juillet 2025. Les domaines existants n'ont pas été modifiés automatiquement. Cependant, si quelqu'un dans votre équipe a activé la fonctionnalité AI Crawl Control manuellement, ou si vous avez des règles robots.txt bloquant les bots IA, vous pouvez quand même être invisible. La vérification reste nécessaire.
Vérifiez si les moteurs IA peuvent vous voir et vous citer
Corriger Cloudflare prend 10 minutes. Mesurer si ça fonctionne vraiment prend Vizible AI. La plateforme surveille chaque jour ce que ChatGPT, Gemini, Perplexity et Claude disent de votre marque, vérifie si votre domaine est cité, et identifie ce que vos concurrents font que vous ne faites pas encore. Commencez votre essai gratuit de 7 jours sur Vizible AI, sans carte bancaire.