Eksperimenter gir økt innovasjonssuksess

KUNNSKAP FRA KRISTIANIA: Innovasjon

Felles for Amazon, Booking.com, H&M, Facebook og Google er at de i stor grad baserer innovasjonsprosessen på utstrakt bruk av eksperimentering.

Ved å designe eksperimenter basert på godt etablert teori, kan vi finne svar på hva som virker og hva som ikke virker, før aktiviteter settes ut i livet i stor skala. Vi kan også designe gjennomføringen av en aktivitet som et eksperiment, og gjøre nødvendig justeringer underveis. Her kan akademia spille en mer sentral rolle enn vi gjør i dag.

Jeg vil her presentere noen eksempler på hvordan forskere på Høyskolen Kristiania gjennomfører eksperimenter sammen med bedrifter og offentlig sektor med den hensikt å bidra til økt kunnskap og innovasjon.

• Les temamagasin: Innovasjonsutgaven av Kunnskap Kristiania (E-magasin)

Eksperimenterte i en av verdens største nettbutikker

For noen år tilbake ønsket vi å undersøke muligheten for å øke konvertering på kjøp hos en av verdens største nettbutikker. Bedriften var interessert, og ønsket å teste ut et nytt konsept med muligheten for å tilby oppsalg, noe de ikke hadde prøvd tidligere.

Oppsalg er en aktivitet hvor butikken tilbyr kunden å kjøpe noe mer eller noe som er dyrere. I dette tilfelle var ideen å gi kunden som hadde lagt produkter i handlekurven, tilbud om å kjøpe noe som var av bedre kvalitet, men som også kostet litt mer (og gav høyere fortjeneste).

Vi valgte et kundesegment bestående av rundt 2000 små og mellomstore forretningskunder og integrerte en oppsalgsløsning i nettsiden som en «pop-up» basert på kunnskap om atferdsvitenskap.

Når kunden la en av de 10 forhåndsdefinerte produktene i handlekurven ble de møtte av oppsalgstilbudet («pop-up»). De kunne velge 1) å akseptere tilbudet eller 2) beholde produktet de allerede hadde lagt i handlekurven. Deltagerne i studien ble tilfeldig fordelt i to grupper– testgruppen fikk oppsalgstilbud og kontrollgruppen fikk ikke oppsalgstilbud.

• Les også: Bedre helse med hjelp fra mobilen  

Doblet fortjenesten

Etter at eksperimentperioden på tre måneder var over, hadde testgruppen fått totalt 101 oppsalgstilbud på de 10 forhåndsdefinerte produktene, 37 ble akseptert, 64 avslått. Dette gir er en konverteringsrate på ca. 37% noe de aller fleste nettbutikker bare kan drømme om.

Antall enheter solgt i testgruppen i samme periode var 787 sammenlignet med kontrollgruppen hvor det var solgt 750 enheter. Men, det viktigste for nettbutikken var at fortjenesten i testgruppen var nesten dobbelt så høy (kr. 39 286,00) i forhold til kontrollgruppen (kr. 20 903,00).

Resultatet fra eksperimentet var svært overraskende for bedriften og de jobber nå med å se på hvordan løsningen kan implementeres i nettbutikker verden over.

• Les også: Hvordan handelen kan bruke smart teknologi til å selge mer 

Sjekker om det virker

Gjennom eksperimentering kan vi finne ut årsakssammenhenger som for eksempel hvilke tiltak har effekt på konvertering til kjøp og fortjeneste. I tillegg kan vi finne ut hva som kunne skjedd dersom tiltaket ikke var iverksatt (kontrollgruppen).

I så måte kan vi gjennom eksperimentering i større grad undersøke hva som virker, hvorfor det virker og hva kunne ha skjedd dersom vi ikke hadde iverksatt tiltaket!

Mer effektiv opplæring i psykisk helsevern

Et annet eksperiment tok utgangspunkt i opplæringsbehov innen psykisk helsevern. Alle som skal jobbe med mennesker som trenger psykisk omsorg, skal få opplæring knyttet til ”Lov om kommunale helse- og omsorgstjenester». Kapittel 9 i loven omhandler bruk av makt og tvang overfor personer med utviklingshemming. Utfordringen er at tradisjonelle dagskurs basert på Powerpoint viser seg å være kostbare og ha liten effekt.

Vi rekrutterte 20 medarbeidere innen psykisk helseverk som ikke hadde vært gjennom opplæringsprogram som deltakere. Vi utviklet en mobil app med 20 spørsmål knyttet til kapittel 9 (såkalt mikrolæring). Den mobile appen fungerte slik at deltagerne fikk tilbakemelding på rett svar og tid brukt på å svare. Deltagerne i studien ble tilfeldig fordelt i to grupper– testgruppen skulle bruke den mobile appen i opplæringen og kontrollgruppen fikk tradisjonell opplæring i form av dagskurs basert på PowerPoint. Det ble gjennomført kunnskapstest før (pre-test) og etter opplæring (post-test) i begge gruppene.

• Les også: Bilde av øyne som ser, får flere til å vaske etter seg

Bruken av app gav økt læringseffekt

Deltagerne som gjennomførte tradisjonell undervisning, oppnådde i gjennomsnitt 26% rette svar på de 20 spørsmålene før opplæring og 29% rette svar etter opplæring. Det kan ikke sies å være spesielt imponerende etter en dags opplæring. Fire av deltagerne i kontrollgruppen skåret det samme på testen før og etter opplæring. En av deltagerne i kontrollgruppen skåret faktisk dårligere etter opplæring.

I testgruppen hadde gjennomsnittet 23% rett svar før opplæring og 70% rett svar etter opplæring. Alle i testgruppa viste en forbedret prestasjon etter opplæringen. Bruken av appen i mikrolæring viste seg å ha en betydelig bedre læringseffekt enn tradisjonell opplæring.

• Les også: Smart betaling for mennesker på farten

Kultur bremser bruk av eksperimenter

Spørsmålet vi kan stille oss er – hvorfor er det ikke flere bedrifter og offentlige organisasjoner som eksperimenterer dersom det kan bidra til økt kunnskap og innovasjon?

Professor Stefan H. Thomke ved Harvard Business School har undersøkt en rekke internasjonale bedrifter, og uttaler i en artikkel i Harvard Business Review at årsaken til at bedrifter ikke driver med eksperimenter i hovedsak er knyttet til kultur.

Når bedrifter prøver å oppskalere sin eksperimentelle kapasitet, finner de ofte ut at hindringene ikke er verktøy og teknologi, men delt tro og verdier i organisasjonen. For hvert eksperiment som lykkes, gjør nesten ti det ikke - og for mange organisasjoner - som vektlegger effektivitet, forutsigbarhet og "å vinne" - er disse feilene bortkastet.

• Les også: Tillit basert på velvilje gir økt innovasjon

Signifikant økning i besøkende fra Facebook

Dette leder meg inn på et eksperiment som vi skulle gjøre for en offentlig institusjon som ønsket å øke relevante besøkende til nettsiden. Et eksperiment med annonser på Facebook ble designet basert på kunnskap om atferdsvitenskap.

Vi valgte relevante besøkende til den offentlige institusjonen som deltagere i eksperimentet. Vi benyttet Facebook Ads til å lage annonsene og måle antall «klikk» per annonse og Webtrends Analytics ble benyttet til å måle antall besøkende til institusjonens nettside. Tre annonser skulle ha en positiv effekt på trafikken til nettsiden og tre annonser skulle ha liten effekt. Eksperimentet gikk derfor over fire uker, annenhver uke uten annonser og annenhver uke med annonser.

I utformingen av eksperimentet ble det diskusjon rundt selve prosedyren og det ble stilt spørsmål om «hvorfor skulle vi ha annonser som ikke skulle ha noen effekt»? Dette ble sett på som irrelevant og totalt bortkastet pengebruk. Vi argumenterte for muligheten til å få kunnskap om hva som virker og hva som eventuelt ikke virker. Vi endte opp med fem annonser som skulle ha en positiv effekt på trafikken til nettsiden og en annonse som skulle ha liten effekt.

Antall besøkende fra Facebook var signifikant høyere i ukene hvor annonsekampanjen gikk. De fem annonsene som skulle ha en effekt på antall besøkende viste en signifikant høyere økning i trafikk enn annonsen som ikke skulle ha en effekt.

Fire lærdommer fra bedrifter som eksperimenterer

Stefan Thomke oppsummerer studien på bedrifter som eksperimenterer og den positive effekten på innovasjon som følger:

1. Må sette pris på overraskelser: For at eksperimentering skal fungere som driver for innovasjonsprosesser må alle i bedriften, fra toppledelsen og nedover, verdsette overraskelser, til tross for at det vil koste penger og at det er vanskelig å forutsi når og hvor ofte overraskelsene oppstår. Når bedrifter har etablert denne tankegangen, vil nysgjerrigheten seire og man ser feil - ikke som kostbare feil - men som muligheter for læring og innovasjon.
2. Data trumfer meninger: Empiriske resultat fra eksperimenter må legges til grunn for beslutninger selv om de går på tvers av sterke meninger - uansett hvem sine meninger det måtte være. Som en direktør på Booking.com uttalte: "Hvis testen forteller deg at overskriften til nettstedet skal være rosa, så bør den være rosa. Du følger alltid testen. ”.
3. Lar ansatte eksperimentere: Alle ansatt hos Booking.com kan starte et eksperiment på millioner av kunder uten tillatelse fra ledelsen. Omtrent 75% av dets 1800 teknologi- og produktmedarbeidere bruker aktivt selskapets eksperimentplattform. Stikkordet her er å demokratisere eksperimenteringen.
4. Klare etiske retningslinjer: Bedriften må tenke nøye over etiske konsekvenser ved gjennomføring av eksperimenter. Er for eksempel kunder interessert i å delta i eksperimenter – som for eksempel er knyttet til oppsalg, hvordan forholder bedriften seg til persondata, hvordan får vi samtykke til å gjennomføre eksperimenter? Her er klare etiske retningslinjer og opplæring en avgjørende faktor.

Oppsummert kan vi si at bedrifter som ønsker å lykkes med innovasjonsprosesser må gjøre eksperimentering til en integrert del av arbeidshverdagen - selv når budsjettene er trange. Det betyr å etablere en kultur hvor de ansattes nysgjerrighet er driveren - data overgår meningene! hvem som helst (ikke bare personer innen forskning og utvikling) kan gjennomføre eller sette i gang et eksperiment med litt kunnskap om design. Alle eksperimenter må selvfølgelig utføres forsvarlig og i tråd med etiske retningslinjer.

Referanser:

• Fagerstrøm, A., E. Arntzen, and M. Volden, Motivating Events at the Point of Online Purchase: An Online Business-to-Business Retail Experiment. Procedia Computer Science, 2021. 181: p. 702-708.
• Fagerstrøm, A., M. Gulliksen, and T.-M. Grønli. Microlearning in Educating Healthcare Professionals. in The 2017 International Conference on Advanced Technologies Enhancing Education (ICAT2E 2017). Atlantis Press. 2017.
• Thomke, S., Building a culture of experimentation. Harvard Business Review, 2020. 98(2): p. 40-47.
• Fagerstrøm, A. Understanding the impact of content in Social Media Advertising. Conference paper. International Conference Internet Technologies & Society. 2017. Sydney, Australia.

Denne formidlingsartikkelen baserer seg på Asle Fagerstrøms forelesning «Sjekk om det virker! Eksperimenter gir økt innovasjonssukess» 19. august 2021 i Arendalsuka.

Tekst: Professor Asle Fagerstrøm, Institutt for teknologi ved Høyskolen Kristiania. Fagerstrøm leder forskningsgruppen Behavior & Technology Lab (www.btlab.no) ved Kristiania.

Vi vil gjerne høre fra deg!

Send dine spørsmål og kommentarer til denne artikkelen på E-post til kunnskap@kristiania.no.