Win rate och vad stora företag rapporterar

Tidigare i veckan höll vi en workshop om att experimentera och vill dela med oss av vad vi pratade om. Vi börjar med de tre olika huvudgrupper av experiment: 

• Enkäter och kvalitativa undersökningar 
• Painted door tests eller Smoke tests 
• A/B test 

Det finns några olika tillfällen då A/B-test är användbara. Dels vid ren optimering, dels för att ta reda på om ett helt paket av förändring i en release inte har en negativ eller överraskande effekt. Det tredje tillfället som A/B-tester är användbara är när vi vill validera nya idéer. A/B-tests är perfekta för det! Det är det primära skälet till att jobba med A/B-test. Vi vill uppmuntra produktorganisationer att ta reda på vad av det som ligger i backloggen eller roadmapen som borde byggas – det gör ni med hjälp av experiment! 

2009 släppte Microsoft en rapport där de hade tagit reda på vad som gjorde att ett team nådde sina mål effektivt. Det var inte att de hade bättre utvecklare, eller att de hade bättre idéer. Det enda som skiljde de framgångsrika teamen med de andra teamen var att de snabbare kunde slänga idéer som inte hade någon effekt. Det visade sig att ca 1/3 av allt som samtliga produktteamen byggde gav en positiv effekt på målet, 1/3 hade ingen effekt alls, och 1/3 hade påverkade målet negativt. Så enda skillnaden var tiden till att kasta bort dåliga idéer. 

Organisationer och team som experimenterar i hög hastighet brukar prata om win rate, alltså hur stor andel av alla idéer gav ett önskat resultat. Microsoft, Pinterest och Slack har delat med sig att deras win rate ligger på ca 30%. Facebook som har ca 22 000 experiment igång samtidigt säger att deras win rate är 15% och Google som släpper ca 300 000 experiment per år säger att deras win rate ligger på 10%. Ju mer innovativa och galna idéer du testar desto lägre kommer win rate vara, men möjligheten till att just innovera ökar. 

Ronny Kohavi delade nyligen en bild från 2007 när Microsoft hade en strategikonferens där han pitchade "Accelerating Innovation with A/B Testing" för dem. 

https://www.linkedin.com/posts/ronnyk_abtesting-microsoft-experimentguide-activity-6790503518840201216-Z22y Vissa vill gärna gå på intuition, men det kan missleda oss. Vi tror oftast väldigt mycket på våra egna idéer, just för att de är våra egna idéer. 

Om vi inte ska gå på intuition brukar en del säga att vi ska gå på vad datan säger oss. Med enbart data kan också vara missledande för oftast handlar det om att titta på gammal data. Därför behöver vi ett verktyg som hjälper oss att ta affärsbeslut och det verktyget är experiment! 

För att komma igång med A/B-tester behöver du göra dessa saker: 

Alla har idéer på hur man kan förbättra målet. Samla in alla idéer, gör om dem till hypoteser, definiera ett minsta möjliga test. Tänk "Vad kan vi få ut på 1/2 dag eller 1 dag?". Det här förarbetet gör att det blir lätt att analysera när testet är klart. Du vet vad du ska mäta, vilken effekt du letar efter och det blir lätt att svara sant eller falskt på hypotesen. Samla teamet så att ni kan prioritera era hypoteser. Det har vi ett avsnitt om: Process: Ta fram idéer & prioritera dem. Gör så många Build-Measure-Learn-loopar som möjligt varje vecka. Bygg så litet som möjligt. Våga prioritera bort att bygga välbyggda saker till förmån att kunna testa många saker fort. Det som visar sig funka tas vidare och byggs robust, det andra slängs.

 Vill du vara med och berätta om hur ditt företag jobbar med att jobba datadrivet? Hör av dig till oss på Linkedin. 

Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.