Il n'existe pas de bon ratio crawl/referral IA universel. Ce ratio rapporte les requêtes HTML des crawlers d'une plateforme aux visites qu'elle vous envoie. Les valeurs publiées sont des agrégats à l'échelle du réseau. Votre chiffre n'a de sens qu'après avoir séparé les bots d'entraînement, de recherche et ceux déclenchés par l'utilisateur, puis tenu compte des visites sans referrer.
Ce que mesure le ratio crawl/referral IA et comment le calculer
Cloudflare divise les requêtes HTML (Content-type: text/html) des crawlers d'une plateforme par les requêtes HTML dont l'en-tête Referer contient le nom d'hôte de cette plateforme (méthodologie consultée le 14 novembre 2026). Unité : requêtes de crawler par visite référée.
Requêtes de crawler, sessions référentes et citations sont des signaux distincts : le ratio combine requêtes et visites référées, sans indiquer si une réponse vous a nommé (voir la différence entre mention et citation IA).
Les visites référées par l'IA restent souvent peu nombreuses, et quelques-unes suffisent à faire bouger le ratio. Leur décompte sous-estime aussi l'exposition : applications natives et URL copiées n'envoient souvent aucun Referer, donc le ratio observé dépasse la valeur réelle.
Sans visite référée, le ratio est indéfini : notez-le ainsi, jamais avec un chiffre inventé. Exemple hypothétique pour octobre : OAI-SearchBot et ChatGPT-User vérifiés récupèrent N pages HTML, R visites portent le nom d'hôte de ChatGPT dans le Referer : le ratio vaut N/R.
Ratios crawl/referral publiés par plateforme IA, comparés
Selon la Radar Year in Review de Cloudflare, le ratio d'OpenAI « a atteint jusqu'à 3 700:1 en mars » : seul chiffre repris ici, vérifié dans le texte anglais le 14 novembre 2026.
| Plateforme | Crawlers comptés | Ratio publié | Période couverte | Date de consultation |
|---|---|---|---|---|
| OpenAI | Agents de la plateforme | Jusqu'à 3 700:1 | Mars, valeur maximale | 14/11/2026 |
| Anthropic, Perplexity | Même méthode | Publié, non repris ici | Voir le rapport | 14/11/2026 |
| Fonctions IA non séparables | Non isolable | Sans objet | 14/11/2026 |
Nous supposons que les valeurs dépendent de la composition des requêtes : un crawl d'entraînement n'est pas conçu pour envoyer des visites, une récupération déclenchée par l'utilisateur peut l'être. Perplexity indique que Perplexity-User peut visiter une page « et inclure un lien vers cette page dans sa réponse » (consulté le 14 novembre 2026).
Google n'est pas comparable. Selon sa documentation (consultée le 14 novembre 2026), les sites présents dans les fonctionnalités d'IA (AI Overviews, Mode IA) sont inclus dans le trafic de recherche global de Search Console : impossible, donc, d'isoler un ratio Google propre à l'IA. Les ratios publiés, agrégats sur l'ensemble du réseau, évoluent dans le temps : lisez-y une tendance, pas un objectif.
Calculer votre ratio depuis vos logs serveur ou CDN
Comptez séparément requêtes, visites référées et citations, et ne mettez au numérateur que les requêtes de pages HTML sur une période déclarée.
Vérifier l'identité des crawlers par user agent et plages d'IP publiées
Un user agent se falsifie facilement. Ne gardez une requête que si son user agent et son IP source correspondent tous deux à la documentation du fournisseur. OpenAI et Perplexity publient des fichiers de plages d'IP (vérifié le 14 novembre 2026).
Séparer les requêtes d'entraînement, de recherche et déclenchées par l'utilisateur
OpenAI documente GPTBot pour l'entraînement, OAI-SearchBot pour la recherche et ChatGPT-User pour « certaines actions des utilisateurs ». Anthropic liste ClaudeBot, Claude-SearchBot et Claude-User, Perplexity distingue PerplexityBot de Perplexity-User (pages consultées le 14 novembre 2026). Calculez un ratio par catégorie et par plateforme. Exclure l'entraînement peut changer le verdict : un ratio global élevé peut masquer un ratio modéré côté recherche et utilisateur.
Compter les visites référées et corriger l'absence de referrer
Comptez les requêtes HTML dont le Referer contient le nom d'hôte de chaque plateforme (pour les sessions, voir comment configurer un canal référent IA dans Google Analytics). Pour estimer ce qui échappe à l'en-tête, comptez les visites directes sur les pages d'entrée vers lesquelles seules des réponses IA semblent pointer, à présenter en fourchette estimée, jamais comme visites référées mesurées.
Qu'est-ce qu'un bon ratio pour votre site
Jugez d'abord le ratio des agents de recherche et d'action utilisateur : leurs récupérations alimentent des réponses qui peuvent renvoyer vers vous. Le chiffre observé est un plafond : les visites référées étant sous-comptées, le ratio réel est plus bas. Avec peu de visites référées, variations et évolutions en pourcentage relèvent surtout du bruit : attendez plusieurs périodes de même durée avant d'y lire une tendance.
Nous supposons que le type de contenu compte (inférence, pas référence chiffrée) : une documentation peut susciter des clics de vérification, alors qu'une actualité peut être résumée intégralement. Complétez les clics par une vue crawl/citation : requêtes de crawler par citation suivie. Nous ne lui connaissons aucune valeur de référence.
Que faire si le ratio est élevé : robots.txt, limitation de débit et pay per crawl
Dans le robots.txt, bloquer un crawler d'entraînement soustrait vos pages à sa collecte ; bloquer un agent de recherche ou déclenché par l'utilisateur peut les écarter des réponses avec citations (voir quels crawlers IA autoriser ou bloquer dans le robots.txt). Autres options : limitation de débit sur le CDN, licence directe ou pay per crawl de Cloudflare, où les crawlers reçoivent « une réponse HTTP 402 Payment Required avec la tarification » (consulté le 14 novembre 2026). À notre connaissance, aucune étude publiée ne mesure leur effet sur les visites référées : comparez des périodes égales avant et après un seul changement.
Par où commencer cette semaine : votre ratio de référence
- Exportez un mois de logs HTML bruts.
- Conservez les bots vérifiés, puis séparez entraînement, recherche et actions utilisateur.
- Comptez les visites référées par nom d'hôte de plateforme.
- Calculez et datez chaque ratio (« indéfini » sans visite référée), avec une fourchette estimée des visites sans referrer.
- Recommencez régulièrement sur une période de même durée.
Pour voir le versant citation du ratio, lancez un scan Namedrop gratuit et vérifiez si ChatGPT, Perplexity, Gemini et Claude citent votre site.
Sources
- Cloudflare, The crawl before the fall… of referrals: understanding AI's impact on content providers, consulté le 2026-11-14
- Cloudflare, The 2025 Cloudflare Radar Year in Review: The rise of AI, post-quantum, and record-breaking DDoS attacks, consulté le 2026-11-14
- Google Search Central, AI Features and Your Website, consulté le 2026-11-14
- Perplexity, Perplexity Crawlers, consulté le 2026-11-14
- OpenAI, Overview of OpenAI Crawlers, consulté le 2026-11-14
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?, consulté le 2026-11-14
- Cloudflare, What is Pay Per Crawl? · Cloudflare AI Crawl Control docs, consulté le 2026-11-14