Hvilken scoringmodell for hypoteser gir deg høyest avkastning?

Uansett om du har jobbet med konverteringsoptimalisering eller ikke, så har du nok endel teorier du ønsker å få svar på. 

For å få gode svar på disse teoriene, kan du gjøre dem om til hypoteser. Hypoteser som kan testes. Slik får du faktisk et svar om idéen er god eller ikke fullt så god. Her er et eksempel på hvordan det kan gjøres:

Om vi (gjør X endring), så vil vi (endre på X KPl), fra (X type person), fordi (årsak).

Bryt ned kompleksiteten

Når du er ferdig med å skrive ut ideene dine, sitter du igjen med noen gode hypoteser (som også bør verifiseres med tilgjengelig data), noen middelmådige hypoteser og noen hypoteser som du ikke vet helt hva du skal gjøre med. Det kan variere i hvor enkelt det er å faktisk teste disse hypotesene.

Dersom du har nok trafikk til å gjøre A/B testing oppstår et nytt problem, vi kan ikke teste alt på en gang. Å kjøre flere tester samtidig krever mye trafikk, noe de fleste av oss ikke har. Derfor er det som oftest lurest å teste hypotesene med høyest potensiale først.

Men hvordan vet du hvilke hypoteser som har høyest potensiale?

Her hjelper scoringsmodellene deg på vei. De hjelper deg å prioritere hypotesene som gir deg mest igjen for pengene. I denne artikkelen går vi gjennom scoringsmodellene ICE, PXL og PIE. 

Fordeler og ulemper med ICE-modellen

Først skal vi se på ICE modellen (Impact, Confidence, Ease), som brukes til å score ulike hypoteser. Det er en enkel metode som bidrar til å identifisere de mest lovende hypotesene basert på 3 ulike komponenter.

De tre ulike komponenter har et bestemt antall poeng hver som beregner en total score for en hypotese. Man legger sammen poengene fra hver komponent, og jo høyere den totale poengsummen er, desto mer lovende er hypotesen. 

‍De tre komponentene er: 

• Impact (Påvirkning): Dette er den viktigste faktoren i modellen og det er den som gir den høyeste andelen av den totale poengsummen. Impact måler hvor stor påvirkning hypotesen kan ha, om den er rett. 

• Confidence (Tillit): Måler hvor sannsynlig det er at hypotesen faktisk er riktig. Dette er en subjektiv vurdering og poengsummen er basert på hvor sikker man er på å bekrefte hypotesen. 

• Ease (Enkelhet): Måler hvor enkelt det er å bekrefte hypotesen. Dette er også en subjektiv vurdering, og poengsummen er basert på hvor enkelt det er å skaffe de nødvendige dataene for å bekrefte hypotesen. 

ICE-modellen er en kostnadseffektiv og enkel måte å rangere hypoteser på. Den kan hjelpe bedrifter til å fokusere ressursbruk og få mest mulig ut av sin investering. Ulempen med modellen er at det er få personer i en bedrift som vil ha nok informasjon til å gi nøyaktige estimater. Impact og confidence er mer forretningsrettet, mens ease krever ofte mer teknisk kompetanse å anslå. 

PIE-modellen

PIE-modellen (Potential, Importance, and Ease) ligner veldig på ICE-modellen, bortsett fra at den bruker “Potential” istedenfor “Confidence, og “Importance” istedenfor “Impact” .

• Potential (Potensiale): Poenget med dette kriteriet er å forstå hvor stort potensialet er for forbedring. Om man for eksempel ønsker å optimalisere en produktside som allerede er veldig god, så vil potensialet for forbedring være lavere. 

• Importance (Viktighet): Poenget med dette kriteriet er å vise hvor stor nytte en hypotese vil gi. Gjelder hypotesen på en side som har høy verdi for bedriften? For eksempel vil det som regel være viktigere å optimalisere en checkout-side, enn en “om oss”-side for en nettbutikk. 

• Ease (Enkelhet): Den siste faktoren som må vurderes er enkelhet, ettersom dette vil avgjøre hvor enkelt det er å gjennomføre hypotesen. Da tenker man i form av tid, penger og ressurser.  

Som ICE-modellen er også PIE-modellen god til å prioritere hypoteser. Begge modellene er enkle å forstå, og ta i bruk. Problemet med både ICE- og PIE- modellene er at flere av kriteriene er subjektive. Det gjør at det er større risiko for å velge feil hypotese.

PXL – en mer moderne scoringsmodell

PXL-modellen gjør et forsøk på å fikse svakhetene til ICE- og PIE-modellene. Dette gjør den med å bruke et rammeverk som er mer objektivt.

En god hypotese er en som kan påvirke brukeratferd. Så i stedet for å gjette hva som påvirker atferd tar PXL modellen utgangspunkt i hva vi allerede vet: 

• Er endringen “above the fold”? → Endringer som umiddelbart er synlig blir lagt merke til av flere mennesker, og dermed øker sannsynligheten for at testen har innvirkning.

• Er endringen merkbar på under 5 sekunder? → Kan brukerne se elementet etter å ha besøkt nettsiden i 5 sekunder? Hvis ikke, vil det sannsynligvis ha mindre innvirkning.

• Legger det til eller fjerner ett element? → Større endringer som å fjerne distraksjoner eller legge til nøkkelinformasjon har en tendens til å ha større innvirkning.

• Kjører testen på sider med høy trafikk? → Forbedring på en side med høy trafikk gir sannsynligvis bedre avkastning. 

PXL-modellen tar også høyde for databehov. Dersom alle skal ha en mening om hva som skal testes uten et datagrunnlag blir prioritering meningsløst. Derfor inkluderer PXL-modellen følgende kriterier:

• Løser den et problem oppdaget via brukertesting?

• Tar den opp et problem oppdaget via kvalitative tilbakemeldinger (undersøkelser, meningsmålinger, intervjuer)?

• Støttes hypotesen av heatmaps eller eyetracking?

• Omhandler det innsikt funnet via digital analyse?

Spør man seg selv disse spørsmålene oftere, så beveger du deg bort fra personlige meninger og nærmere en objektiv sannhet.  

“Data is the antidote to delusion” – Alistar Croll & Benjamin Yoskovitz (authors of Lean Analytics)

Scoringen av PXL-modellen fungerer annerledes enn ICE og PIE. Den følger hovedsakelig en binær skala, som betyr at du må velge det ene eller det andre alternativet. Så for hvert spørsmål (med mindre annet er angitt), velger du enten 0 eller 1.

Tilpasninger er mulig, og dersom vi ønsker å vekte enkelte variabler høyere. For eksempel, om det er viktig at hypotesene følger brand-guidelines, kan vi legge det inn som en variabel og vekte den med 2 poeng istedenfor 1. 

Ingen bedrifter er like, derfor vil ikke en modell passe alle like bra. Fordelen med PXL er at den kan tilpasses til de unike variablene som er viktig til den enkelte bedriften på en bedre måte enn de to andre modellene.

Konklusjon

Ingen av scoringsmodeller gir deg et fasitsvar. Men de er verktøy som hjelper deg å skille de gode hypotesene fra de dårlige, på en strukturert og mer objektiv måte enn man klarer selv. 

Dersom du ønsker hjelp til å komme i gang med testing, ikke nøl med å ta kontakt med meg.