Datadrivet

Om du inte har lyssnat på avsnittet Next Feature Fallacy, rekommenderar vi dig att göra et. Product Death Cycle är en förlängning av Next Feature Fallacy. Det är väldigt lätt att hamna där, men också lätt att ta sig ur den. Ingen använder produkten > fråga användarna vilka features som saknas > bygg saknad feature > ingen använder produkten.... Länk till tweeten: https://twitter.com/davidjbland/status/467096015318036480 Att bygga features som kunderna saknar kommer inte att göra att fler använder produkten. Fråga användarna varför dom slutade använda produkten istället. 80% av alla användarna lämnar produkten innan 30 dagar. Det är av de 80 procent som slutade använda produkten som vi kan lära oss saker av. Om ditt enda verktyg är en hammare kommer allt se ut som en spik. Och utvecklare kan utveckla nya features, så de kommer försöka lösa problemet med att bygga nya features. Istället behöver vi fråga oss själva varför i ska lösa problemet på det sättet vi löser det. Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin.  Vi som pratar heter Joni Lindgren och Jasmin Yaya.  Producerat av Niklas Bryngelsson.

Andreas Quensel arbetar som Growth Product Manager på appen Heja. Heja som är en app som fokuserar på lagkommunikation för idrottslag. Över 130 000 lag använder Heja globalt och de största marknaderna är USA och England.  Tidigare har han arbetat i olika marknads- och analyschefsroller inom Bonnier News och Expressen.  Heja har satt upp en strukturerad process för hur de arbetar med insikter: De utgår från företagets strategi – vad ska organisationen fokusera på under det kommande året? Det är till stor del olika nyckeltal som de tror att de kan förbättra och som kommer att ge en stor effekt. Exempelvis intäkt per betalande lag, konvertering till betalande kund eller activation rate (i Hejas fall andelen lag som nått minst 6 medlemmar inom 7 dagar). Efter detta prioriterar Growth-teamet vilka nyckeltal som de börjar att arbeta med.  De utgår från vår end-to-end modell och ser vad som händer med tillväxt och intäkter när olika KPI:er förbättras olika mycket. Modellen är ett spreadsheet som Andreas delar med sig av till lyssnarna. Dä skickar de in input som retention (hur länge lag stannar i appen), activation rate (andelen lag som når minst 6 användare), acquisition loopar (betalda-kanaler, WOM, organiska virala loopar), samt alla delar i monetization (konvertering till betalande kund, snittpris, renewal rate etc). Genom att ha allting i en modell kan de modellera hur alla faktorer påverkar varandra, exempelvis hur lag från betalda kanaler även skapar nya lag tack vare virala loopar.  Efter detta har de en öppen workshop för att generera idéer där vem som helst får vara med De idéer de tror mest på skapar de hypoteser kring utifrån mallen: “Eftersom vi sett (data/insikter) tror vi att denna förändring kommer att få denna effekt.” Hypoteserna rangordnas sedan efter (potential, learning, ease, samt confidence).  Efter detta börjar den klassiska build-measure-learn loopen. Ibland kan de börja med att göra ut ett experiment direkt, och ibland börjar de med research (surveys / användarintervjuer) för att lära/stärka hypotes.  Att jobba datadrivet har varit lite av en icke-fråga på Heja. När Andreas började fanns hela data-strukturen på plats och flera i bolaget hade gått Reforges utbildning inom growth. Det har gjort att alla har samma tänk och vokabulär. För Andreas del handlade det därför om att skapa en process tillsammans med teamet och sedan iterera den kontinuerligt. De delar resultat och insikter varje vecka för hela bolaget.  Länk till spreadsheet med Growth-modellen: https://docs.google.com/spreadsheets/d/1hjYuRDXIwpeiGe-6__ctmphQGUqRNAUG5ZpQ2K2VNng/edit?usp=sharing  Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin.  Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Niklas Bryngelsson.

Fredrik Sterner Cederlöf, Head of Global Customer Insight & Analytics på Polestar med lång erfarenhet av digital utveckling och data storytelling. Han pratar om hur kundresan används för Shop vs Own, hur teamet bygger datalandskap och sprider insikter i organisationen. Diskussion om NPS, CES, Slack-integration av kundkommentarer och tekniska verktyg för att mäta och agera på kundupplevelser.

Next Feature Fallacy: En falsk slutsats om att nästa funktion du adderar helt plötsligt kommer få många fler att använda din produkt mycket mer. Tyvärr visar datan gång på gång igen att majoriteten av användarna slutar använda produkten innan de ens får chansen att upptäcka den nya funktionen som byggts. Produktteam bygger hela tiden nya funktioner – men få produktteam mäter vad det fick för effekt på slutmålet. Slutmålet borde ju vara att fler använder tjänsten oftare. Nya funktioner skeppas, men hur gick det då? Sanningen är tyvärr att de allra flesta nya features inte har någon påverkan på det slutgiltiga målet, men det upptäcks inte för om inte produktteamet mäts på det. Produktteam som jobbar agilt mäts på hur snabbt de kan bygga saker – men bygger de rätt saker? Nästan inga företag som Joni och Jasmin har jobbat med har koll på sin 1 Day Retention, 7 Day Retention, 30 Day Retention. Produktteamet tänker hela tiden på "hur kan vi göra den här produkten bättre?". Då är det logiskt att tänka "vad är nästa feature?". Vi tänker att det är logiskt - men det är inte det. Vi behöver ett KPI att mäta mot som snabbt visar om vi bygger rätt saker eller inte, snarare än story points eller burndown rate. Om vi optimerar för att bygga många saker snabbt kommer vi inte optimera för att lära oss snabbt. Det vi mäter är det vi optimerar. Därför är det viktigt att se till att vi mäter rätt saker! Den agila metoden är inte skapad utifrån användarens behov. Lean-metodiken är det. Man kan vara agil i Lean-metodiken. Det behöver alltså finnas en kultur i organisationen där lärandet står över allt annat, där man tror på att om vi lär oss snabbare än våra konkurrenter kommer vi att vinna. Den kulturförändringen måste komma från ledningsgruppen i organisationen. Exempelvis för en sociala medie-plattform skulle produktmålet kunna vara Daily Active Users (att användarna kommer tillbaka varje dag). Om en feature visar sig inte påverkar målet, ska vi då släppa ut det? Ofta resonerar många sähär: "Men vi har ju lagt tid på att bygga det, så vi borde ju behålla det." Det kallas för Sunk Cost Fallacy. Vi människor tenderar dessutom att lägga större vikt vid idéer som vi själva kommer på. Just därför är A/B-tester bra, de hjälper oss att hålla vår kognitiva bias (kognitivt knastänk enligt Joni) i schack. Sammanfattning 1. Lärandet ska stå över allt annat. Det är en kulturförändring som måste komma från ledningsgruppen. 2. Mät inte nya features som byggts, mät resultat mot affärsmål eller förbättra användarbeteenden. 3. Istället för att lägga nästa sprint på att bygga en ny feature, lär er mer om hur användarna använder produkten de första 7 dagarna. Det kommer du förmodligen ha större nytta av! 4. Om du inte har verktyg för att kunna göra A/B tester så kommer du få ut betydligt mer att att låta produktteamet lösa det än att bygga nästa feature. Länk till artikeln av Andrew Chen: https://andrewchen.co/the-next-feature-fallacy-the-fallacy-that-the-next-new-feature-will-suddenly-make-people-use-your-product/ Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin. Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Scilla Studio.

Emelie Ardby har 10 års erfarenhet inom affärsutveckling och produktutveckling och jobbar sedan två år som produktägare på den digitala magasintjänsten Readly. Innan dess jobbade hon många år inom Schibsted i olika bolag och olika roller. Två viktiga saker för Emelie är att hon jobbar datadrivet och hennes förmåga att prioritera rätt idéer. Vi pratar om att jobba datadrivet och hon ger massa konkreta exempel på olika projekt hon har jobbat i som gett henne många viktiga lärdomar. Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin. Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Scilla Studio.

De pratar om hur ett team snabbt tar fram och klustrar idéer i digitala workshops. Sedan röstar de fram vilket spår som ger mest lärande och värde kopplat till North Star. Idéer formuleras som hypoteser och beskriver mätning, testupplägg och antal försök. Slutligen prioriteras hypoteser med en poängmall baserad på värde, enkelhet, lärande och risk.

Adam Hjort är VP Customer Success på Loop54, som är en AI-baserad sökalgoritm för e-handlare. Adam har jobbat på många olika B2B SaaS-bolag och hans erfarenhet är att många vill jobba datadrivet. En sak Adam har lärt sig är att även om en kund säger upp sig är det inte en förlorad kund, utan det går att vinna tillbaka kunden! Om man pratar med kunden går det att lära sig mycket och även rädda uppsägningen. Exempelvis under våren 2020 var många kunden osäkra över vad som skulle hända i framtiden och bolagen ville inte ha fasta avgifter. Det handlar inte om att de var missnöjda kunder, utan snarare att de var osäkra över framtiden. En annan vanlig förändring är att det börjar en ny ansvarig som man inte har en relation med ännu. Adam har märkt att det är lättare att prata i telefon än att skicka mail, det går att förstå vad som sägs mellan raderna. Ett av Adams favitoritexperiment är en enkät med som skickas ut till aktiva användare för att ta reda på vad kunderna tycker om produkten. Han började skicka den här enkäten varje halvår via Intercom när han jobbade på Get Accept. 1. Hur skulle du känna om du inte längre kunde använda produkten? Svarsalternativ: väldigt besviken, någorlunda besviken, inte besviken 2. Vilken plattform skulle du använda om du inte kunde använda produkten? 3. Vad är den främsta fördelen med produkten? 4. Vad upplever du behöver förbättras i produkten? 5. Vem är produkten lämpad för? När man har fått in enkätsvar kan man börja grotta ner sig i datan och skära datan på olika sätt (exempelvis hur länge de har varit kunder, vad har de för produkter, vilken region de befinner sig i) för att ta reda på hur man ska sälja in produkten eller prioritera hur produkten ska vidareutvecklas. Svaren kan hjälpa en att prioritera och förklara backloggens prioritering för exempelvis stakeholders och investerare. En oväntad fördel med att skicka ut enkäten är att enkelt kunna ge återkoppling till kunder som efterfrågar funktioner som redan finns. På ett väldigt enkelt sätt kunde de då göra kunderna lite nöjdare genom att svara att deras önskemål redan finns. Adam är ju ny på Loop54 och vill jobba datadrivet redan från början. Då behöver han se till att samla mer information och data som inte finns på plats ännu. Ett sätt är att skicka en så kallad exit-intervju varje gång en kund säger upp sig. Det är en intervju som med fördel är ett samtal och syftet är att ta reda på varför kunderna slutar vara kunder. Exempel på frågor som kan ställas då är: Vilken leverantör har ni valt? Varför har ni sagt upp? Finns det någonting vi kan bli bättre på? Länkar: Verktyg som Adam gillar: Zapier: https://zapier.com/ Pendo: https://www.pendo.io/ Intercom: https://www.intercom.com/ Loop54 https://www.loop54.com/ Vi som pratar heter Joni Lindgren och Jasmin Yaya. Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin. Producerat av Scilla Studio.

Digital analytiker, webbanalytiker, appanalytiker – det finns många olika titlar som beskriver rollen. Den digitala analytikern får tillgång till människors beteende i ett gränssnitt. Men informationen är begränsad i form av siffror i en tabell. Analytikerns jobb är att ta reda på vad datan innebär och lära känna hur gränssnittet fungerar baklänges. Analytikerns blir användarens bästa kompis. Efter ett tag börjar analytikern komma på idéer på hur vi skulle kunna göra saker och ting bättre. Något behöver ta det vidare, exempelvis en produktägare, copywriter, UX designer eller utvecklare. En analytiker borde inte bry sig om organisatoriska avdelningsgränser. När analytikern har sett ett problem i datan ska den ta sig runt i organisationen för att se till att problemet blir löst. Vi som pratar heter Joni Lindgren och Jasmin Yaya. Vill du vara med och berätta om hur ditt företag jobbar med att mäta och minska churn? Hör av dig till oss på Linkedin. Producerat av Scilla Studio.

I förra avsnittet pratade David Jurelius om allt som behöver finnas på plats innan experimenteringen börjar. Vi pratar om tracking, problem med cookie-döden, ITP, olika enheter och plattformar. I det här avsnittet fortsätter samtalet och vi fokuserar på själva teamet som jobbar med att samla in datan och vilka olika typer av roller och kompetenser som behövs. Hur stort team behövs och och vilka kompetenser behövs för att samla datan och hålla datan ren? Ju fler plattformar organisationen har, desto fler analytiker behövs det. Det behövs också olika sorters analytiker. David räknar upp några olika typer av roller som behövs för att samla och analysera data: Analytics Engineer: har koll på tekniken så att datan kan samlas in på rätt sätt från olika plattformar. Här behövs någon som har koll på hur de olika plattformarna (iOS, Android, Samsung TV, Apple TV, Webbapp etc) tillåter att datan samlas och håller sig uppdaterad med utvecklingen. Kunde tidigare kallas för teknisk digital analytiker. Data Engineer: ser till att data samlas in korrekt från många olika system i ett datakluster så att det går att göra någonting med den. Exempelvis data från CRM, point of sale, betalssystem och affärssystem ska samlas. Digital Analytist / Business Intelligence Analyst: använder datan till för att få ut insikter från den. Data Scientist: fokuserar på att bygga statistiska modeller eller machine learning-modeller. Product Owner: politikern. Den som känner organisationen riktigt väl och vet vem vi ska prata med för att prioritera mätning. När det finns många olika plattformar behöver någon ha koll på hur mätning ska ske i olika plattformar. Kommunicera med organisationen och gör det lätt för dem att höra av sig till er om frågor kring mätning. Bemöt alla frågor fort, då känner de sig sedda och känner att det här teamet bryr sig om mig och ser mig.  Tiden är förbi då man kunde gå in i Google Analytics lite snabbt och få ut ett svar. Datan är för komplicerad när det inte bara finns en enda webbplats. En person som kommer och säger “Hej jag vill ha tillgång till Google Analytics, jag är ganska duktig, jag fixar det!” kommer inte få tillgång till Google Analytics. Den personen vet inte vad den tar fram för data från Google Analytics och hur den ska tolka och använda den datan, och risken finns att den sprider osanningar i organisationen.  David pratar om vikten av att ha tillgång till tydlig dokumentation. Google Analytics har en bra dokumentation. Men så fort du börjar samla in datan själv behövs en tydlig dokumentation så att alla kan förstå hur och vad som samlas in.  En grej som Jasmin tar med sig är att det verkligen behövs många olika kompetenser för att få analysen att funka. Tiden är förbi när det var en one man show att samla och analysera datan. Det är en team effort!  Simo Ahava skriver ofta om nya uppdateringar och förändringar inom technical marketing på sin blogg https://www.simoahava.com/ Google Analytics dokumentation https://developers.google.com/analytics Företag vi nämner: Spotify, Lime, Voi, Mathem, Coop, TV4, C More

David Jurelius har över 10 års erfarenhet av mätning, webbanalys, Google Analytics, Firebase och SEO. Han har varit i organisationer som Hemnet, Aftonbladet, TV4, C More för att nämna några få. I det här avsnittet pratar vi om allt som behöver finnas på plats innan experimenteringen börjar. Vi pratar om tracking, problem med cookie-döden, ITP, olika enheter och plattformar. David är skeptiskt mot att man ska testa allt. Han har jobbat mycket med product analytics där de byggt nya features. När du analyserar ett A/B-test är det viktigt att inte bara kolla på mätpunkten som du ville påverka. Du måste också kolla på det övergripande målet. En knapptryckning är ju inte viktigare än det stora målet som exempelvis konvertering och lojalitet. Oftast ger A/B-test inte en positiv förändring på båda mättalen. David nämner exempel från Hemnet. Det finns mycket som är svårt att mäta, exempelvis url-struktur för SEO, eller brand awareness. Hur A/B-testar vi ens det? Det är för komplext att sätta upp test. Särskilt när det inte finns ett övergripande tydligt mål för tjänsten blir det extra svårt att avgöra hur ett test ska se ut och när ett resultat uppnåtts. Han betonar att han hatar när en ny produktchef kommer och bestämmer “Jag har sett den här funktionen hos en konkurrent, vi ska också bygga det!” Fråga hellre först de som har koll på datan om det går att se i den data som finns om våra egna användare om ett sådant behov ens finns. Han nämner utmaningarna med att testa och delar upp en digital tjänst i tre olika delar: - Klienten: vad ska vi exponera för utseende, exempelvis färgknapp, det påverkar ju inte funktionaliteten. - Backend, alltså servern. Exempel: vi renderar till kunden att du är kvinna, du får bara se sminkprodukter när du går in på Amazon, en man får bara se avgasrör. - Innehåll. Exempel: Aftonbladet eller Expressen testar olika rubriker för att se vilket som driver flest klick. När vi testar olika saker i klienten ser vi just där och då vad användaren gör, men vi behöver se vad som händer över tid, men vad händer när användaren kommer tillbaka, konverterar den då? Problemet är att vi inte kan svara på det som vi kunnat förut. Det beror på att vi inte kan följa en användare över tid pga ITP (Intelligent Tracking Prevention), alla cookies tas bort från enheten. Webbläsarna har fått nog av att annonsplattformarna (exempelvis Google har Double Click, Facebook har sin tracking pixel) har missbrukat sitt förtroende för att hantera cookies och personuppgifter. Det här skedde redan innan regleringar som GDPR och CCPA som tagits fram för att skydda personuppgifter. Nya Safari på iOS 14 har ITP som gör att cookies som kommer från en tredjepart får inte sättas i den webbläsaren. Den som har Mac kan ladda ner Safari Technology Preview, som är en försmak på Safari kommer att bli. Kommentar från David: Jag nämner svepande ITP som egentligen bara är Safari, vilket är lite slarvigt av mig. Men men. Webbplatsen om ITP har också text om alla andra tracking preventions https://www.cookiestatus.com/ Google Tag manager’s server side tagging Simo Ahavas introduktion. Till server side GTM https://www.simoahava.com/analytics/server-side-tagging-google-tag-manager/ Officiella dokumentationen är också ganska bra https://developers.google.com/tag-manager/serverside?hl=sv Safari Technology Preview https://developer.apple.com/safari/download/ Vi som pratar heter Joni Lindgren och Jasmin Yaya. Producerat av Scilla Studio.