“Confirmation bias” kan påvirke tolkningen din av testresultatet
Vi er alle utsatt for “confirmation bias” som er tendensen til å underbevisst søke etter, vurdere, eller fokusere på resultater og informasjon som bekrefter det vi allerede tror er rett.
La oss si at du er en bilselger, og du syns Audi er det beste bilmerket i verden. Mest sannsynlig vil du også søke etter informasjon som bekrefter at Audi er det beste bilmerket i verden.
Velger du å sette opp en nettsidetest for å avgjøre om målgruppen helst kjøper Audi eller Volvo, vil du mest sannsynlig anta at Audi er den soleklare vinneren.
Har testresultatene tolkningsrom? Ja, da er det fullt mulig at du ubevisst ignorerer eventuelle indikatorer på at Volvo er det mer prefererte bilmerket i målgruppen.
Dette er et problem forskere flest er svært bevisste på, men folk ellers kanskje ikke kjenner like godt til. Så hvordan unngå confirmation bias når man A/B-tester på nettsider?
Denne fallgruven kan sjelden unngås helt, men det er noen ting du kan gjøre for å minimere tendensen:
- Tolke resultatene sammen med en annen person, som helst har andre meninger enn deg selv.
- Benytte statistisk modellering (modellen har sjelden confirmation bias).
- Det hjelper også å støtte en test med flere KPIer, slik at man får et bredere beslutningsgrunnlag.
Hvis alle andre gjør det, må det jo være riktig?
Bandwagon-effekten er egentlig en økonomisk teori, som handler om popularitet: Om alle andre kjøper produktet, er produktet bra. I nettbutikker benytter man seg ofte av denne effekten gjennom å markere et produkt som "populært."
Ved testing dukker denne merkingen opp som noe de fleste ikke ønsker å teste – for når “alle andre” gjør det, må det jo fungere. Dette er til en viss grad sant. Vi er vanedyr, og dermed forventer å finne for eksempel bedriftslogo, kontaktinformasjon og navigasjonsmeny på samme sted over hele internett.
Når det er sagt, betyr ikke nødvendigvis dette at det konkurrenten gjør, vil fungere for dere. Det betyr heller ikke at det ikke vil fungere, derfor bør slike hypoteser testes.
Unngå å gå i ankringsfella
Ankring er en tendens til å velge det første alternativet, eller kun se på ett punkt i datagrunnlaget.
Denne tendensen er årsaken til at vi anbefaler å ikke titte på test-dataene midt i en testperiode: Om testen heller i én retning i startfasen, er det fort gjort å tenke at det er det eneste rette resultatet, og enten stoppe den for tidlig, eller ikke akseptere det reelle testresultatet.
Status quo-tendens – når du foretrekker det velkjente
Har du kjent på følelsen av uro over å gjøre en endring du ikke er vant med?
Status quo-tendensen handler om at man liker ting som de er, og ikke ønsker å endre det man oppfatter som trygt.
Dersom man for eksempel velger å ikke gjennomføre en test, eller lar være å implementere bekreftede hypoteser fra en nettsidetest kan det være status quo-tendensen som har påvirket deg.
Utålmodighet – å måtte vente på resultater
Generell utålmodighet kan ofte føre til at man stopper en test for tidlig, og ender opp med resultater som ikke er statistisk signifikante, ikke har et stort nok antall deltakere, og ikke kan verifiseres som gyldige på noe vis. Da har man effektivt gjort masse jobb, uten å få data man kan stole på.
Testfaser skal alltid være lange nok til å gi tall man kan stole på. Det betyr at du skal ha en testfase som inkluderer alt som kan påvirke resultatene dine: Helger, ukedager, værendring, nyhetsbrev-utsendelser, og trafikk fra flere forskjellige kilder. I tillegg bør man kjøre tester hele uker, og ikke stoppe en test på en onsdag om den ble startet på en mandag.
Tid, antall konverteringer, størrelse på testgruppen og statistisk signifikans er alle kritiske for å gi resultater man kan stole på. Husk å vurdere alle punktene før du stopper en test.
Utålmodighet kan også føre til at man tenker det er fornuftig å starte kampanjer mot en utypisk målgruppe for å øke trafikken inn til testsiden. Dette anbefales ikke. Denne gruppen er ikke representativ for de som vanligvis besøker siden, og bør derfor ikke testes på.
Ikke alle bedrifter har trafikk nok til å kjøre A/B-tester. Om din bedrift går i denne gruppa, kan dere jobbe med målrettede undersøkelser.
Dobbeltsjekk hypotesen etter implementering
Om hypotese-varianten vinner over originalen, er det på tide med permanent implementering av endringen. Ved implementering er det viktig å markere datoen en plass, gjerne som annotasjon i analysesystemet dere benytter.
Grunnen til det, er at man bør sjekke etter et par måneder at konverteringsgraden faktisk har økt. Det er mange variabler som påvirker tester, derfor bør man dobbeltsjekke utfallet etter en liten stund.
Nettsidetesting er i utgangspunktet en enkel metode for å øke konverteringsgraden på nettsiden, men ha fallgruvene i bakhodet ved neste test.
I Fullstakk sitter det et dedikert CRO-team som hver dag ser på mulighetene innen konverteringsoptimalisering og brukervennlighet på våre kunders nettsider.
.webp)
