Støjgulv og påviselig ændring

Sprogmodeller er ikke-deterministiske. Stilles det samme spørgsmål til den samme model ti gange i træk, modtager man sjældent ti identiske svar. Nogle gange nævnes et brand; andre gange udelades det.

Uden en behandling af denne iboende usikkerhed kan en måling ikke skelne mellem to grundlæggende situationer: Er der sket en reel forbedring i brandets synlighed, eller skyldes forskellen blot tilfældig variation i modellens svar?

Hvad litteraturen viser

Det bedste offentligt tilgængelige tal er Petra Labs’ analyse fra 2026: Ved 100 kørsler pr. prompt er den mindste påviselige ændring (minimum detectable effect, MDE) omkring 14 procentpoint for brands i mellemområdet, og en reel ændring på 5 procentpoint opdages kun i omkring 11 % af tilfældene.

Dette betyder i praksis, at ved typiske panelstørrelser kan en bevægelse under cirka 14 procentpoint ikke med statistisk sikkerhed skelnes fra tilfældig variation. Da præcisionen kun forbedres med kvadratroden af antallet af kørsler, stiger omkostningen ved at måle finere ændringer meget hurtigt.

TRAQs måleprincipper

For at sikre en metodisk forsvarlig rapportering følger TRAQ fire principper:

1. Mindste påviselige ændring deklareres: Hver rapport fastlægger sit støjbånd. Bevægelser, der falder inden for dette bånd, rapporteres konsekvent som “ingen påviselig ændring”, uanset om kurven visuelt stiger eller falder.
2. Nævneren oplyses altid: Ethvert procenttal ledsages af det eksakte antal prompts, antal kørsler pr. prompt og antal målte kanaler.
3. Måling mod kontrolgruppe: Samtidig med klientens måling testes en kontrolgruppe af sammenlignelige konkurrenter på samme panel. Hvis hele branchen bevæger sig parallelt, dokumenterer kontrolgruppen dette, så effekten ikke fejlagtigt tilskrives klientens indsats.
4. Strukturel kadence: Målinger på små paneler over korte tidsrum er primært støj. Vi evaluerer strukturelle ændringer over længere måleserier for at lade reelle bevægelser overstige støjgulvet.

Status for TRAQs eget støjgulv

TRAQ har endnu ikke afsluttet den empiriske måling af sit eget støjgulv på vores specifikke produktionsopsætning.

Indtil denne empiriske måleserie er afsluttet, anvender vi Petra Labs’ publicerede 14 procentpoint som vores eksterne reference og deklarerer åbent, at tallet stammer fra ekstern forskning. Så snart vores egen måleserie foreligger, opdateres denne side med panelstørrelser, modelversioner og observerede støjbånd.

Måledesign og parallelle tendenser

Vores måledesign sammenligner en periode før en teknisk indsats med en periode efter, målt parallelt mod kontrolgruppen. Dette design hviler på den forudsætning (parallel trends), at klienten og kontrolgruppen ville have udviklet sig ensartet, såfremt indsatsen ikke var blevet gennemført. Kontrolgruppen gør det muligt at isolere generelle modelopdateringer fra effekten af jeres egne optimeringer.