Menu
Hvor sikker kan du være på dine data? Prøv beregneren se, om dine resultater er statistisk signifikant.
En a/b test er et eksperiment, som du kan lave på dit website, i dine email-kampagner eller annoncer på sociale medier eller Google. Eksperimetet går ud på at sammenligne, hvilken variant af en annonce, der genererer flest kliks. Det kan være, at du har forskellig call-to-action, forskelligt billede eller brødtekst eller andet, der kan hav indflydelse på brugernes adfærd (kliks).
Selvom en variant umiddelbart ser ud til at klare sig bedre end den anden, er det dog ikke sikkert, du kan stole på, at det så også vil være tilfældet, hvis du kørte samme test igen. Derfor kan udregne den statistiske signifikans. Det vil sige noget om, hvor sandsynligt det ville være, at du ville opnå samme resultat, hvis du kørte samme test igen med samme målgruppe.
Det kan lyde lidt tal-nørdet at tale om statistisk signifikans. Og det er også til dels. Men det er en vigtig beregning, som du bør lave, hvis du vil kunne stole på dine resultater og styre din digitale forretning efter, hvad data siger.
Statistisk signifikans siger noget om, hvor sikkert resultatet af fx en a/b test ikke skyldes tilfældigheder eller held. Jo højere signifikans, desto mere sikkert. Som udgangspunkt anvender man en konfidensgrad på 95%. Det vil sige, at hvis du gennemførte samme eksperiment med samme målgruppe, ville du med 95% sandsynlighed opnå samme resultat (sagt lidt for simplet).
Du opnår en større signifikans grad ved at indsamle mere data med flere konverteringer. Hvis du vil undersøge, hvilken variant der får flest kliks, er konverteringen i din a/b test kliks. Hvis du har få konverteringer i din a/b test, vi det kræve, at testen kører lang tid.
Statistisk signifikans siger ikke noget om kausalitet – altså årsagen til resultaterne – eller korrelation med andre datasæt. Brug derfor altid den sunde fornuft, når I skal forholde jer til data.
Data kan sagtens være korrelateret uden at have en egentlig kausal sammenhæng.
Du har gennemført en a/b test, og den viser gode resultater. Men resultaterne er ikke statistisk signifikante. Hvad gør man så? For det første skal man forstå, hvad det betyder. Når man gennemfører en test, tester man varianter mod et udsnit eller en stikprøve at populationen (de besøgende på websitet). Der kan være masser af grunde til, at testen ikke viser signifikante resultater. Var der for få konverteringer, var der stor nok forskel mellem varianterne, var der sæsonudsving, der kunne påvirker resultaterne osv.
Selvom resultaterne ikke er statistisk signifikante, kan det sagten stadig vise det reele billede. Det kan bare ikke understøttes matematisk. Derfor kan det give mening at gennemføre testen igen med samme setup men med en længere testperiode, for på den måde at opsamle mere data.
De fleste elementer på dit website kan indgå i en a/b test. Nogle af de typiske elementer, der giver mening at teste er
Undgå at teste for mange ting på websitet på én gang. Det vil mudre resultaterne, hvis der kører flere eksperimenter på samme tid. Lav i stedet en plan for, hvad du vil teste. Start fx med en produktside. Får vi flere konvteringer (kundehenvedelser eller leads), hvis vi ændrer overskriften, hvis vi viser et andet produktbillede (eller intet produktbillede).
Statistik er et praktisk forsøg at afkræfte eller bekræfte hypoteser med matematik. Praktisk forstået på den måde, at man tager udgangspunkt i et udplug af målgruppen. Det er anvendeligt, da det sjældent, at man kan inddrage hele målgruppen (fx alle internetbrugere, der nogensiden har besøgt jeres website).
Det siger ikke noget om sandheden eller baggrunden. Det kan derfor sagtens være, at et resultat kan være statistisk signifikant, men alligevel ikke sandt, hvis man testede hele målgruppen.
Når I arbejder med a/b tests, så hav altid den sunde fornuft med og forhold jer kritisk til resultaterne. Udvalgte I målgruppen tilfældigt, er målgruppen stor nok og har vi konverteringer nok, er der sæsonudsving, der kan påvirke resultaterne, til at vi stoler på resultatet. Hvis I er i tvivl om, om resultaterne faktisk også giver de ønskede resultater, kan I jo altid køre samme ekseperiment igen. Det kræver lidt ekstra tid, men det skulle tilgengæld også gerne bekræfte jeres oprindelige indsigt.
I beregneren her anvender jeg en såkalt to-halet z-test for at beregne den statistiske signifikans. Z-test er en udbredt beregning, som anvendes ved større datasæt. Det er muligvis en svaghed ved beregneren at vælge en metode tilpasset til større datasæt, men kan anvendes i de fleste tilfælde. Desuden er det svært at afgøre, hvad definitionen på “større datasæt” er. Jeg anveder to-halet beregning, da både negative eller posistive forskelle mellem de to varianter kan forekomme.
