Les prompt trackers : le moyen le plus coûteux de ne rien apprendre

Tous les quelques mois, une nouvelle mode promet de bouleverser le marketing pour toujours.
Cette fois, ce sont les prompt trackers : des outils qui indiquent combien de fois ta marque apparaît dans les réponses de ChatGPT, Claude ou Perplexity.

Ça semble intéressant. Qui ne voudrait pas le savoir ?

Le problème, c’est que la technologie sur laquelle reposent ces outils est bancale — du moins si tu comptes vraiment utiliser leurs données pour prendre des décisions.

Pourquoi les prompt trackers ne fonctionnent pas

Commençons par le problème le plus évident :
L'IA est non déterministe.

En clair : pose deux fois la même question à ChatGPT et tu n’obtiendras pas systématiquement la même réponse. Parfois, seules quelques nuances changent ; parfois, l’angle est totalement différent.

Pour les statisticiens, c'est un cauchemar.
Pour tirer des conclusions un tant soit peu fiables, il faudrait répéter chaque prompt de nombreuses fois — pas une ou cinq, mais des dizaines voire des centaines, selon le niveau de précision recherché.

Concrètement, cela signifie :
Quelques centaines de tests du même prompt peuvent déjà coûter plusieurs dizaines, voire centaines d’euros. Et cela pour un seul prompt, sur un seul modèle.

Avec 30, 40 ou 50 prompts suivis sur plusieurs modèles, la facture mensuelle peut vite atteindre cinq chiffres — pour des données qui restent malgré tout très variables.

Une API n’est pas ChatGPT

La plupart des Prompt Trackers utilisent les API d'OpenAI, d'Anthropic ou d'autres fournisseurs. Cela est compréhensible, car toute autre utilisation constituerait une violation flagrante des conditions d'utilisation.

Seulement :
L'API n'est pas ce que les utilisateurs voient sur ChatGPT.com.

L’interface web s’appuie sur des prompts système propriétaires, des outils internes, du contexte supplémentaire et des mécanismes d’orchestration qui évoluent régulièrement. Rien de tout cela n’est visible ni reproductible de l’extérieur.

Qu'est-ce que cela signifie concrètement ?
Un prompt tracker mesure donc les réponses d’un environnement technique très différent de l’expérience réelle des utilisateurs.

En d'autres termes :
Tu analyses des données provenant d'un univers parallèle et tu te demandes pourquoi elles ne correspondent pas à la réalité.

Le problème du fan-out des requêtes

Un autre point dont on parle peu :

Lorsque les utilisateurs posent des questions complexes, l'IA ne les traite pas en interne comme une seule requête de recherche. Au lieu de cela, les éléments sont décomposés, reformulés et évalués en parallèle, en fonction du modèle, de l'invite et du contexte.

De
« Quels sont les meilleurs casques sans fil à moins de 200 € ? »
une IA peut tirer plusieurs recherches connexes, par exemple :

• « Casques sans fil à moins de 200 € »
• « Tests de casques Bluetooth »
• « Comparatifs de casques audio »

Tu suis donc un prompt qui, sous cette forme, ne sert peut-être jamais réellement de base à la réponse.
L’IA suit son propre processus, tandis que ton outil mesure autre chose.

Ce qui fonctionne à la place

Au lieu d'émettre des hypothèses, certaines choses peuvent être mesurées de manière très concrète, sans interprétation ni supposition.

• La provenance réelle du trafic issu des IA
• Le comportement de ces visiteurs sur le site
• Les contenus vers lesquels les IA renvoient le plus souvent
• L’évolution de la part du trafic issu des IA

La bonne nouvelle :
Il existe des données qui peuvent réellement être mesurées. Sans estimations. Sans interprétation.

Trafic de référence issu de l’IA

Quand une personne arrive sur ton site en cliquant sur un lien dans ChatGPT, Perplexity ou une autre plateforme d’IA, il s’agit d’une visite réelle.
Pas une simulation : une vraie visite.

Et c'est là que cela devient intéressant, quand on y regarde de plus près.

Ventilation par source d'IA

Toutes les IA ne fonctionnent pas de la même manière :

• ChatGPT utilise principalement Bing
• Claude utilise Brave
• Perplexity utilise sa propre logique de recherche

Selon l'endroit où ton contenu est facile à trouver, les visiteurs proviennent d'écosystèmes d'IA très différents.

En distinguant ces sources, tu peux répondre à une question simple :
Quelle plateforme d’IA t’apporte un trafic pertinent, et laquelle n’apporte que du bruit ?

Suivi des conversions par source d'IA

Le trafic seul, c'est bien.
Mais la question cruciale est : que se passe-t-il après ?

• Ces visiteurs achètent-ils ?
• S’inscrivent-ils ?
• Poursuivent-ils leur lecture ou quittent-ils aussitôt le site ?

Si les visiteurs provenant d’une source d’IA convertissent nettement mieux que les autres, ce n’est pas une impression : c’est un signal concret pour orienter tes investissements.

Analyse des landing pages

Vers quels contenus les IA renvoient-elles ?

Si les articles pratiques attirent régulièrement du trafic depuis les IA, mais que les pages produits en attirent peu, ce n’est probablement pas un hasard.
Cela montre quels types de contenus attirent ces visites, et lesquels n’en attirent pas.

Part de l'IA au fil du temps

Un point simple, mais souvent sous-estimé :

Comment évolue la part du trafic IA au fil des semaines et des mois ?

Cette part augmente-t-elle régulièrement ?
Stagne-t-elle ?
Ou chute-t-elle soudainement ?

Ces variations peuvent servir de signal précoce.
Si la part du trafic provenant des IA baisse sur ton site alors qu’elle augmente ailleurs, cela mérite d’être examiné.

Part de l'IA au fil du temps

Un point simple, mais souvent sous-estimé :

Comment évolue la part du trafic IA au fil des semaines et des mois ?

Cette part augmente-t-elle régulièrement ?
Stagne-t-elle ?
Ou chute-t-elle soudainement ?

Ces variations peuvent servir de signal précoce.
Si la part du trafic provenant des IA baisse sur ton site alors qu’elle augmente ailleurs, cela mérite d’être examiné.

Conclusion

Les prompt trackers vendent une impression de contrôle. Les tableaux de bord s’animent, les chiffres évoluent, tout semble mesurable. Mais sous le capot, il s’agit surtout de bruit — coûteux à produire et difficile à interpréter.

Ces outils peuvent être utiles pour expérimenter. Ils ne constituent toutefois pas une base solide pour prendre de vraies décisions.

Ce que nous faisons déjà chez Trackboxx

Chez Trackboxx, nous suivons le trafic provenant des plateformes d’IA. C’est moins spectaculaire, mais fondé sur des visites réelles.

Tu vois quelle plateforme d’IA t’envoie du trafic — ChatGPT, Claude, Perplexity ou Gemini —, quelles pages sont citées et quelles visites génèrent des conversions.

De vrais visiteurs. De vraies données. Pas d'estimations.

Le tout sans cookies, en conformité avec le RGPD et sans dépenser des milliers d’euros par mois.