Prompt Tracker: De duurste manier om niets te leren

Om de paar maanden duikt er een nieuwe hype op die belooft marketing voor altijd te veranderen.
Deze keer is het Prompt Tracker - Tools om te laten zien hoe vaak je merk wordt genoemd in ChatGPT, Claude of Perplexity.

Klinkt goed in het begin. Wie zou dat niet willen weten?

Het probleem is dat de achterliggende technologie onzin is - tenminste als je deze gegevens serieus wilt nemen als basis voor besluitvorming.

Waarom prompt trackers niet werken

Laten we beginnen met het meest voor de hand liggende probleem:
AI is niet-deterministisch.

In gewone taal: Als je ChatGPT twee keer dezelfde vraag stelt, krijg je niet altijd hetzelfde antwoord. Soms zijn er nuances, soms heel andere accenten.

Dit is een nachtmerrie voor statistici.
Om redelijk betrouwbare uitspraken te doen, zou je elke individuele prompt heel vaak moeten herhalen - niet één of vijf keer, maar tientallen of honderden keren, afhankelijk van de gewenste nauwkeurigheid.

In de praktijk betekent dit
Zelfs een paar honderd runs per prompt kunnen al snel resulteren in kosten met hoge dubbele of driedubbele cijfers. Per prompt. Per model.

Als je 30, 40 of 50 prompts over verschillende modellen wilt volgen, kom je al snel uit op maandelijkse kosten van vijf cijfers - voor gegevens die nog steeds erg ruisachtig zijn.

API is niet hetzelfde als ChatGPT

De meeste prompt trackers gebruiken de API's van OpenAI, Anthropic of andere aanbieders. Dit is begrijpelijk - iets anders zou een duidelijke schending van de gebruiksvoorwaarden zijn.

Alleen:
De API is niet wat gebruikers zien op ChatGPT.com.

De webinterface werkt met eigen systeemprompts, interne tools, extra contextverrijking en regelmatig veranderende controlemechanismen. Deze niveaus zijn van buitenaf niet zichtbaar of reproduceerbaar.

Wat betekent dat concreet?
Je gebruikt een prompt tracker om reacties te meten vanuit een technische opstelling die fundamenteel verschilt van de echte gebruikerservaring.

Of om het anders te zeggen:
Je analyseert gegevens uit een parallel universum en vraagt je af waarom ze niet overeenkomen met de werkelijkheid.

Het query fan-out probleem

Een ander punt dat zelden wordt besproken:

Als gebruikers complexe vragen stellen, verwerkt de AI deze niet intern als een enkele zoekopdracht. In plaats daarvan worden delen opgesplitst, geherformuleerd en parallel geanalyseerd - afhankelijk van het model, de vraag en de context.

Van
„Wat zijn de beste draadloze hoofdtelefoons onder 200 euro?“
verschillende thematische zoekrichtingen, bijvoorbeeld:

• „Draadloze hoofdtelefoons onder 200 euro“
• „Bluetooth-hoofdtelefoontest“
• „Hoofdtelefoon vergelijken“

Je volgt dus een prompt die nooit de operationele basis is van het antwoord in dit formulier.
De AI doet zijn eigen ding en jouw tracking loopt ernaast.

Wat werkt in plaats daarvan

In plaats van aannames te modelleren, kunnen sommige dingen heel concreet gemeten worden - zonder interpretatie, zonder giswerk.

• Waar komt AI-verkeer eigenlijk vandaan
• Wat deze bezoekers doen op de site
• Welke inhoud wordt bij voorkeur gekoppeld door AI's
• Hoe het AI-aandeel zich in de loop der tijd ontwikkelt

Het goede nieuws:
Er zijn gegevens die echt gemeten kunnen worden. Zonder schattingen. Zonder interpretatie.

AI verwijzingsverkeer

Als iemand op je website komt via een link van ChatGPT, Perplexity of een andere AI, dan is dat een feit.
Geen model, geen simulatie - een echt bezoek.

En dit is waar het interessant wordt als je dieper kijkt.

Indeling naar AI-bron

Niet elke AI werkt hetzelfde:

• ChatGPT gebruikt voornamelijk Bing
• Claude gebruikt Brave
• Perplexity gebruikt zijn eigen zoeklogica

Afhankelijk van waar je inhoud gemakkelijk te vinden is, komen bezoekers uit heel verschillende AI-ecosystemen.

Als je ze netjes scheidt, kun je dat snel zien:
Welke AI geeft me relevant verkeer en welke is gewoon ruis?

Conversietracking per AI-bron

Alleen het verkeer is al leuk.
Maar de cruciale vraag is: wat gebeurt er daarna?

• Kopen deze bezoekers?
• Schrijven ze zich in?
• Lezen ze verder of gaan ze meteen weer weg?

Als AI-bezoekers van de ene bron significant beter converteren dan andere, dan is dat geen gevoel - maar een tastbare indicatie van waar investeringen de moeite waard zijn.

Landingspagina-analyse

Welke inhoud wordt überhaupt door AI's gekoppeld?

Als adviesartikelen constant AI-verkeer ontvangen, maar productpagina's nauwelijks - dan is dat geen toeval.
Het laat zien welke inhoudstypes werken voor AI-zoekopdrachten en welke niet.

AI-aandeel in de loop der tijd

Een eenvoudig maar onderschat punt:

Hoe ontwikkelt het aandeel AI-verkeer zich in de loop van weken en maanden?

Stijgt het voortdurend?
Stagneert het?
Of valt het plotseling weg?

Zulke veranderingen zijn vroege indicatoren.
Als je AI-aandeel daalt terwijl het in de markt groeit, is er iets mis.

AI-aandeel in de loop der tijd

Een eenvoudig maar onderschat punt:

Hoe ontwikkelt het aandeel AI-verkeer zich in de loop van weken en maanden?

Stijgt het voortdurend?
Stagneert het?
Of valt het plotseling weg?

Zulke veranderingen zijn vroege indicatoren.
Als je AI-aandeel daalt terwijl het in de markt groeit, is er iets mis.

Conclusie

Prompt Tracker verkoopt het gevoel van controle. Dashboards bewegen, cijfers veranderen, alles lijkt meetbaar. Maar onder de motorkap is het vooral lawaai - duur en moeilijk te categoriseren.

Dergelijke hulpmiddelen kunnen hun plaats hebben als speelplaats voor experimenten. Ze zijn niet geschikt als basis voor echte beslissingen.

Wat we al doen bij Trackboxx

We vertrouwen op AI-referentietracering. Minder spectaculair, maar wel eerlijk.

Je kunt zien welke AI je verkeer stuurt - ChatGPT, Claude, Perplexity, Gemini - duidelijk gespecificeerd. Je kunt zien welke pagina's gelinkt zijn. En je kunt zien welke daarvan converteren.

Echte bezoekers. Echte gegevens. Geen schattingen.

Het geheel is kookloos, GDPR-compliant en zonder dat je duizenden euro's per maand hoeft uit te geven.