Statistik: få idéer fungerar

I veckans avsnitt av Datadrivet går Joni och Jasmin igenom hierarki av bevis och hur vi ska veta vilka experiment vi kan lita mest på. Vilket typ av test och vilka testmetoder som används spelar stor roll när man överväger bevistyngden i resultatet av ett test eller experiment. Här presenteras en hierarki för hur man ska veta hur starkt ett bevis är.

1. Expertåsikter Att förlita sig på expertåsikter eller "best-practice" inom branschen är inte alltid tillräckligt för att bevisa att din idé kommer att fungera. Expertåsikter kommer från (ibland) en självutnämnd expert och dessa åsikter behöver nödvändigtvis inte fungera på din produkt.
2. Användarundersökningar Användarundersökningar genom att till exempel intervjua en fokusgrupp eller bjuda in användare till ett test, ger insikt i varför användare upplever problem eller känner osäkerhet. Men eftersom det bara rör sig om ett fåtal personer är det svårt att dra slutsatser om hur representativt detta är för en större användargrupp. Du kan få reda på varför ett problem uppstår, men du pratar bara med ett fåtal personer. Bevistyngden är bättre än expertåsikter eller best practice - men det är fortfarande för riskabelt att gå all in på en idé baserat på vad en handfull användare har sagt.
3. Data & science Här kommer bevisföring man kan satsa pengar på: data. Kolla i ditt webbanalysverktyg och se hur användarna beter sig i verkligheten. Att kolla senaste 4 veckorna räcker - historisk data behöver inte alls betyda framtida beteenden. Här kan vi se varifrån trafiken kommer, vilka devices som används, hur användarna beter sig första veckan, konverteringsgrad, etc.
4. A/B-tester Kronjuvelen av bevis. A/B-tester görs i realtid och man jämför inte före och efter. Test A och test B utspelar sig i samma tid och i samma situation - slumpen avgör vilken version användaren får. Efter några veckor kan man se en signifikant skillnad i resultat mellan A och B.
5. Metaanalys Sista steget och bossen av bevis-hierarkin: metaanalysen. Här helgarderar du dig genom att A/B-testa A/B-testet. Om ett A/B-test visar sig stödja en viss hypotes, så verifierar man resultatet genom att köra fler test på samma hypotes. Är det inte lite för mycket hängslen och livrem, kan man ju fråga sig? Här spelar ju såklart storleken på bolaget en roll. Grundargumentet för att testa först är att minimera risk. Man minimerar risk genom att verkligen satsa resurser på det som visar sig ha störst potential.

Datadrivet är en podd av scilla.studio. Vill du ha hjälp med att komma igång med experiment i ditt team? Hör av dig till oss på scilla.studio eller på Linkedin. Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin: Vi som leder podden heter Joni Lindgren och Jasmin Yaya.