# Qu'est-ce qu'un bon ratio crawl/referral IA, et comment le mesurer

Auteur : Quentin Megevand
Publié : 2026-11-14
Source : https://getnamedrop.ai/blog/bon-ratio-crawl-referral-ia-et-comment-le-mesurer

Il n'existe pas de bon ratio crawl/referral IA universel. Ce ratio rapporte les requêtes HTML des crawlers d'une plateforme aux visites qu'elle vous envoie. Les valeurs publiées sont des agrégats à l'échelle du réseau. Votre chiffre n'a de sens qu'après avoir séparé les bots d'entraînement, de recherche et ceux déclenchés par l'utilisateur, puis tenu compte des visites sans referrer.

## Ce que mesure le ratio crawl/referral IA et comment le calculer

Cloudflare divise les requêtes HTML (`Content-type: text/html`) des crawlers d'une plateforme par les requêtes HTML dont l'en-tête `Referer` contient le nom d'hôte de cette plateforme (méthodologie consultée le 14 novembre 2026). Unité : requêtes de crawler par visite référée.

Requêtes de crawler, sessions référentes et citations sont des signaux distincts : le ratio combine requêtes et visites référées, sans indiquer si une réponse vous a nommé (voir [la différence entre mention et citation IA](/blog/mention-ou-citation-quelle-difference-en-recherche-ia)).

Les visites référées par l'IA restent souvent peu nombreuses, et quelques-unes suffisent à faire bouger le ratio. Leur décompte sous-estime aussi l'exposition : applications natives et URL copiées n'envoient souvent aucun `Referer`, donc le ratio observé dépasse la valeur réelle.

Sans visite référée, le ratio est indéfini : notez-le ainsi, jamais avec un chiffre inventé. Exemple hypothétique pour octobre : OAI-SearchBot et ChatGPT-User vérifiés récupèrent N pages HTML, R visites portent le nom d'hôte de ChatGPT dans le `Referer` : le ratio vaut N/R.

## Ratios crawl/referral publiés par plateforme IA, comparés

Selon la Radar Year in Review de Cloudflare, le ratio d'OpenAI « a atteint jusqu'à 3 700:1 en mars » : seul chiffre repris ici, vérifié dans le texte anglais le 14 novembre 2026.

| Plateforme | Crawlers comptés | Ratio publié | Période couverte | Date de consultation |
|---|---|---|---|---|
| OpenAI | Agents de la plateforme | Jusqu'à 3 700:1 | Mars, valeur maximale | 14/11/2026 |
| Anthropic, Perplexity | Même méthode | Publié, non repris ici | Voir le rapport | 14/11/2026 |
| Google | Fonctions IA non séparables | Non isolable | Sans objet | 14/11/2026 |

Nous supposons que les valeurs dépendent de la composition des requêtes : un crawl d'entraînement n'est pas conçu pour envoyer des visites, une récupération déclenchée par l'utilisateur peut l'être. Perplexity indique que Perplexity-User peut visiter une page « et inclure un lien vers cette page dans sa réponse » (consulté le 14 novembre 2026).

Google n'est pas comparable. Selon sa documentation (consultée le 14 novembre 2026), les sites présents dans les fonctionnalités d'IA (AI Overviews, Mode IA) sont inclus dans le trafic de recherche global de Search Console : impossible, donc, d'isoler un ratio Google propre à l'IA. Les ratios publiés, agrégats sur l'ensemble du réseau, évoluent dans le temps : lisez-y une tendance, pas un objectif.

## Calculer votre ratio depuis vos logs serveur ou CDN

Comptez séparément requêtes, visites référées et citations, et ne mettez au numérateur que les requêtes de pages HTML sur une période déclarée.

### Vérifier l'identité des crawlers par user agent et plages d'IP publiées

Un user agent se falsifie facilement. Ne gardez une requête que si son user agent et son IP source correspondent tous deux à la documentation du fournisseur. OpenAI et Perplexity publient des fichiers de plages d'IP (vérifié le 14 novembre 2026).

### Séparer les requêtes d'entraînement, de recherche et déclenchées par l'utilisateur

OpenAI documente GPTBot pour l'entraînement, OAI-SearchBot pour la recherche et ChatGPT-User pour « certaines actions des utilisateurs ». Anthropic liste ClaudeBot, Claude-SearchBot et Claude-User, Perplexity distingue PerplexityBot de Perplexity-User (pages consultées le 14 novembre 2026). Calculez un ratio par catégorie et par plateforme. Exclure l'entraînement peut changer le verdict : un ratio global élevé peut masquer un ratio modéré côté recherche et utilisateur.

### Compter les visites référées et corriger l'absence de referrer

Comptez les requêtes HTML dont le `Referer` contient le nom d'hôte de chaque plateforme (pour les sessions, voir [comment configurer un canal référent IA dans Google Analytics](/blog/mesurer-trafic-referent-ia-google-analytics)). Pour estimer ce qui échappe à l'en-tête, comptez les visites directes sur les pages d'entrée vers lesquelles seules des réponses IA semblent pointer, à présenter en fourchette estimée, jamais comme visites référées mesurées.

## Qu'est-ce qu'un bon ratio pour votre site

Jugez d'abord le ratio des agents de recherche et d'action utilisateur : leurs récupérations alimentent des réponses qui peuvent renvoyer vers vous. Le chiffre observé est un plafond : les visites référées étant sous-comptées, le ratio réel est plus bas. Avec peu de visites référées, variations et évolutions en pourcentage relèvent surtout du bruit : attendez plusieurs périodes de même durée avant d'y lire une tendance.

Nous supposons que le type de contenu compte (inférence, pas référence chiffrée) : une documentation peut susciter des clics de vérification, alors qu'une actualité peut être résumée intégralement. Complétez les clics par une vue crawl/citation : requêtes de crawler par citation suivie. Nous ne lui connaissons aucune valeur de référence.

## Que faire si le ratio est élevé : robots.txt, limitation de débit et pay per crawl

Dans le robots.txt, bloquer un crawler d'entraînement soustrait vos pages à sa collecte ; bloquer un agent de recherche ou déclenché par l'utilisateur peut les écarter des réponses avec citations (voir [quels crawlers IA autoriser ou bloquer dans le robots.txt](/blog/quels-crawlers-ia-autoriser-dans-robots-txt)). Autres options : limitation de débit sur le CDN, licence directe ou pay per crawl de Cloudflare, où les crawlers reçoivent « une réponse HTTP 402 Payment Required avec la tarification » (consulté le 14 novembre 2026). À notre connaissance, aucune étude publiée ne mesure leur effet sur les visites référées : comparez des périodes égales avant et après un seul changement.

## Par où commencer cette semaine : votre ratio de référence

- Exportez un mois de logs HTML bruts.
- Conservez les bots vérifiés, puis séparez entraînement, recherche et actions utilisateur.
- Comptez les visites référées par nom d'hôte de plateforme.
- Calculez et datez chaque ratio (« indéfini » sans visite référée), avec une fourchette estimée des visites sans referrer.
- Recommencez régulièrement sur une période de même durée.

Pour voir le versant citation du ratio, [lancez un scan Namedrop gratuit](/?src=blog-article#scanner) et vérifiez si ChatGPT, Perplexity, Gemini et Claude citent votre site.

## Sources

- [Cloudflare, The crawl before the fall… of referrals: understanding AI's impact on content providers, consulté le 2026-11-14](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/)
- [Cloudflare, The 2025 Cloudflare Radar Year in Review: The rise of AI, post-quantum, and record-breaking DDoS attacks, consulté le 2026-11-14](https://blog.cloudflare.com/radar-2025-year-in-review)
- [Google Search Central, AI Features and Your Website, consulté le 2026-11-14](https://developers.google.com/search/docs/appearance/ai-features)
- [Perplexity, Perplexity Crawlers, consulté le 2026-11-14](https://docs.perplexity.ai/guides/bots)
- [OpenAI, Overview of OpenAI Crawlers, consulté le 2026-11-14](https://developers.openai.com/api/docs/bots)
- [Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?, consulté le 2026-11-14](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- [Cloudflare, What is Pay Per Crawl? · Cloudflare AI Crawl Control docs, consulté le 2026-11-14](https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/what-is-pay-per-crawl/)

## Questions fréquentes

### Un ratio crawl/referral IA élevé est-il mauvais pour votre site ?

Pas en soi. Un ratio élevé tiré par les crawlers d'entraînement est attendu, car ces crawls ne sont pas conçus pour envoyer des visites. Regardez d'abord le ratio des agents de recherche et déclenchés par l'utilisateur. Lisez-le comme un plafond, car les applications suppriment souvent le referrer, et vérifiez si ces mêmes plateformes vous citent. Un ratio élevé sur ces agents, qui persiste sur plusieurs périodes de même durée, justifie d'agir.

### Pourquoi les ratios crawl/referral publiés diffèrent-ils d'une plateforme IA à l'autre ?

La raison probable est la composition des requêtes. Les crawls d'entraînement ne sont pas conçus pour envoyer des visites. Perplexity indique que Perplexity-User peut visiter une page pour répondre à une question et inclure un lien vers cette page dans sa réponse. Une plateforme dont le crawl sert davantage l'entraînement que les réponses avec liens tend à afficher un ratio plus élevé. Considérez les valeurs publiées comme des agrégats réseau indicatifs.

### Bloquer les crawlers d'entraînement IA augmente-t-il le trafic référent ?

Nous ne connaissons aucune étude publiée qui le mesure. Bloquer un crawler d'entraînement comme GPTBot retire des requêtes du numérateur, donc votre ratio global baisse, mais cela ne crée pas de visites référées. Ce sont les agents de recherche et déclenchés par l'utilisateur qui récupèrent des pages pour les réponses. Pour juger de l'effet sur votre site, comparez les ratios par agent et les volumes de visites référées sur des périodes de même durée, avant et après le changement.

### Comment compter les visites de l'application ChatGPT qui arrivent sans referrer ?

Vous ne pouvez pas les compter directement, seulement les estimer. Repérez les pages d'entrée qui reçoivent du trafic direct et vers lesquelles, autant que vous puissiez en juger, seules des réponses IA pointent, comme des pages profondes rarement partagées ailleurs. Traitez leurs visites directes inexpliquées comme de possibles visites référées par l'IA, indiquez une estimation basse et une estimation haute à côté des visites référées mesurées, et ne fusionnez jamais l'estimation avec le décompte mesuré.

### Faut-il inclure Googlebot dans le calcul du ratio ?

Traitez Google à part. Google indique que les sites présents dans les fonctionnalités d'IA comme les AI Overviews et le Mode IA sont inclus dans le trafic de recherche global de Search Console : vous ne pouvez donc pas isoler les visites issues des seules fonctionnalités d'IA. Un ratio Googlebot mélange ainsi recherche classique et fonctionnalités d'IA. Présentez-le sur une ligne distincte plutôt que de le comparer à OpenAI, Anthropic ou Perplexity.