Magma topp logo Til forsiden Econa

Norsk Tipping

figur-authorfigur-author

Maskinlæring mot spilleproblemer

Sammendrag

Maskinlæring og kunstig intelligens (hva det nå måtte bety) blir stadig viktigere. Denne casen gir en god og grundig beskrivelse av hva man kan forvente å oppnå ved å bruke databaserte metoder: en forbedring av eksisterende tjenester og en verifisering av hva man driver med. Norsk Tippings tiltak er innovative og relativt avansert, delvis fordi organisasjonen er datadrevet og bruker statistikk i alle mulige sammenhenger allerede. Analysen er vel gjennomført, bruker svært moderne verktøy og har gitt effekt. Samtidig er den realistisk – man får et innblikk i hvilke spørsmål både dataanalytikere og ledere må ta stilling til, og det er godt håp om at man får utnyttet sin intervensjonskapasitet atskillig bedre enn ved et tilfeldig utvalg.

Det er også klart at AI ikke vil løse problemet spille­avhengighet, verken på kort eller lang sikt. Men det kan hjelpe noen – og maskinlæring gjør det lettere og atskillig mer effektivt å finne og følge opp dem som har nytte av den hjelpen Norsk Tipping kan tilby.

Og det er ikke noe dårlig resultat – framtidsrettet, realistisk, og med betydelige muligheter for videreutvikling av en svært spennende teknologi.

Fenomen som beskrives

Casen beskriver hvordan Norsk Tipping har brukt ny teknologi til å forbedre verktøy for å oppfylle sitt ansvar for å forhindre spilleavhengighet, ved å bedre identifisere spillere som har nytte av et bestemt oppfølgingstiltak.

Teoretisk forankring

Casen er primært forankret i litteratur om strategisk analyse og maskinlæring, og beskriver prosessen med å utvikle og evaluere en modell i henhold til Provost & Fawcett (2013).

Informasjonsgrunnlag

Denne artikkelen er basert på en prosjektoppgave skrevet ved programmet Analytics for Strategy ved Master of Management ved BI av Liudmila Poroshkina og Tanja Sveen, under veiledning av John Chandler Johnson, Alessandra Luzzi og Espen Andersen.

Midt i februar 2019 hentet Tanja Sveen seg en kopp te i Norsk Tippings kantine, satte seg ved et vindu med utsikt mot Mjøsa, og tenkte over hvilken underlig jobb hun egentlig hadde. Norsk Tipping var Norges største leverandør av pengespill, men hennes ansvar var å forhindre at noen av kundene – de som var, eller kunne bli, spilleavhengige – brukte produktene deres. Som rådgiver for ansvarlig spill var det hennes jobb å finne ut hvem som ikke burde spille – og nå hadde hun brukt over et år på å lage en maskinlæringsmodell for å gjøre nettopp det.

Norsk Tipping og spillmarkedet i Norge

Det norske pengespillmarkedet var strengt regulert. Pengespill var i utgangspunktet forbudt, med unntak av tre områder: Norsk Tipping hadde enerett på å tilby en bred portefølje av pengespill, Norsk Rikstoto hadde enerett på hestespill, og i tillegg ble det gitt tillatelser til mindre lotterier til inntekt for gode formål.

Norsk Tipping var regulert av lov om pengespill, der paragraf 1 stadfestet som selskapets viktigste formål å forebygge negative konsekvenser av spill. I tillegg skulle overskuddet fra pengespill fordeles på gode formål. Norsk Tippings eier, Kulturdepartementet, fulgte opp selskapet på målsettingene om å forebygge spilleproblemer og redusere andel inntekter fra spillere med risikofylt spilleatferd.

Norsk Tipping hadde i overkant av 2 millioner kunder og tilbød en bred portefølje av pengespill: sju lotterispill (hvorav Lotto var det mest populære), fire sportsspill (med Oddsen som det største), to typer terminalspill, nettbasert kasino, bingo og skrapespill. Alle spill (bortsett fra fysiske Flax-lodd) var identifisert, som betød at hver kunde var kjent. Spillene ble solgt gjennom fysiske kanaler (som butikker, kiosker, og bingohaller) og digitale (mobilapp og websider.) Bruttoinntekten i 2017 var 36 916 milliarder kroner, inntekt etter premieutbetaling 7 835 milliarder kroner, og av dette gikk 5 251 milliarder til gode formål. Firmaet hadde cirka 400 ansatte og hovedkontor på Hamar.

Analyse og modellering i en digital verden

Fra begynnelsen av 2000-tallet hadde en stadig økning i datamaskiners evne til å lagre og prosessere data, koblet med at kunder i en digital verden kontinuerlig legger igjen spor av hva de gjør, ført til at der man før stort sett var avhengig av å hente inn data gjennom utvalg, som kundeundersøkelser, kunne man nå i langt større grad analysere på hva kundene – alle sammen – faktisk gjorde (Stephens-Davidowitz, 2017).

Digitalt baserte selskaper som Amazon og Netflix bygget opp anbefalingssystemer som kunne gi hver enkelt kunde relevante anbefalinger basert på kundens atferd og interesser. Resultatet var at kundene opplevde et mer relevant tilbud, mens selskapene oppnådde mer- og gjensalg. Disse anbefalingssystemene ble i stor grad laget ved hjelp av maskinlæring (Siegel, 2016), i hovedsak teknikker der man bruker algoritmer for å lære fra data, gjennom å finne mønstre og dermed informasjon i store datamengder uten eksplisitt programmering og uten forhåndsformulerte hypoteser – en utvikling som ikke bare krever kunnskap om datateknologien, men også at organisasjonen ble datadrevet. Å bli en datadrevet organisasjon innebærer å ta de fleste beslutninger basert på innsikt og læring fra data heller enn ut fra sedvane, teori og egne erfaringer (Andersen mfl., 2018).

For Norsk Tipping, som gjennom sitt arbeid med utvikling av spillalgoritmer og sannsynlighetsmodeller hadde lang erfaring med avansert databehandling, ble det et spørsmål om ikke en datadrevet og kunde­tilpasset tilnærming også brukes til å påvirke til «sunn» forbrukeratferd. Norsk Tipping hadde et tydelig oppdrag om å forebygge spilleproblemer. Kunne selskapet bruke datadreven læring for å lykkes bedre med dette oppdraget?

Oppdrag: Å forebygge spilleproblemer

En befolkningsundersøkelse om pengespill i Norge (Pallesen mfl., 2016) viste at 0,9 % av befolkningen var problemspillere mens 2,3 % var såkalt moderate risiko­spillere, et omfang som kvalifiserte spilleproblemer som et folkehelseproblem.

Alt spill hos Norsk Tipping var identifisert og registrert, og dette dannet grunnlaget for arbeidet med å forebygge spilleproblemer. Selskapet visste hvor mye hver enkelt kunde spilte og kunne bruke disse dataene til å identifisere kunder som var i faresonen.

Et bredt spekter av tiltak var utviklet for å hjelpe kunder å forholde seg til problematisk spilleatferd. Kunden kunne for eksempel tilbys verktøy som å sette spillegrenser (tid og penger), spillepauser og utestenging, spillregnskap (oversikt over forbruk) og tilbakemelding om risikostatus basert på analyse av spilleatferd. Hensikten var å gi kunden god oversikt og kontroll over eget spill.

Norsk Tipping hadde over flere år brukt et system – Playscan-modellen – til å overvåke hver enkelt kundes spilling for å avdekke risikofylt spilleatferd. Playscan-modellen var utviklet basert på et stort datasett fra kunder som hadde tatt en selvtest for spilleproblemer. Spilledata siste fem uker før selvtesten ble tatt, ble deretter brukt til å lage en modell som predikerte risikofylt spillemønster.

Et neste skritt vil kunne være at man også bruker en datadreven tilnærming til å følge opp kundene – slik at man kan følge opp kunder individuelt, basert på hvilken oppfølging hver enkelt kunde responderer positivt på.

Proaktive samtaler

Et av de nyeste spillansvarstiltakene var en såkalt proaktiv samtale, som er en oppfølgingssamtale over telefon med kunder som hadde en risikofylt spille­atferd og hadde tapt mye penger på spill. Ideen til dette til­taket kom etter en fagdag for de ansatte. Man hadde fått besøk av Rolf Brumoen, som jobbet med behandling av spilleavhengighet for Blå Kors, og en anonym pasient kalt Ivar, som fortalte om sine problemer med spilleavhengighet. «Ivar» ble spurt om hva Norsk Tipp­ing kunne ha gjort for å hjelpe ham, og svarte at noe som kanskje hadde hjulpet, var «hvis noen hadde ringt meg i stedet for å sende stadig sintere brev, som kredi­torene gjør». Tanja syntes dette var en god idé, men var usikker på hvordan kundene ville reagere om de ble oppringt.

Proaktive samtaler ble først startet opp som en begrenset pilot i 2015 for å teste om tiltaket hadde noe for seg. Det var stor spenning knyttet til hvordan kundene ville reagere – ville de være negative, bli provo­serte og sinte? Erfaringen har vært at et «stort, stort flertall» av kundene var positive til å bli ringt opp – og kundeundersøkelser gjennomført i etterkant viste at kundene opplevde at samtalene ble gjennomført på en respektfull måte.

Man utviklet etter hvert en protokoll for å gjennomføre slike samtaler: Etter å ha presentert seg spurte man om kunden hadde tid til en samtale, og fortalte raskt om hvorfor: «Vi ringer for å følge opp kunder som har tapt mye penger på spill hos oss det siste året, og du er en av dem.» Nokså tidlig i samtalen ble kunden spurt hvor mye penger han selv trodde han (netto) hadde brukt på spill det siste året. De fleste kundene gjorde et estimat – vanligvis langt lavere enn det reelle tapet. Et vanlig eksempel var at kunden trodde han hadde brukt 30 000 kroner, mens han i realiteten hadde tapt 80 000 kroner. Etter at kunden hadde gitt sitt estimat, opplyste man om det reelle tapet, og spurte kunden hva han tenkte om det. Mange kunder fikk et lite sjokk når de fikk høre summen.

Deretter fulgte man opp med spørsmål og lyttet etter såkalt endringsprat – at kunden kom med utsagn som tydet på at han ønsket en endring. Et typisk utsagn var «nå skjønner jeg hvorfor vi ikke har hatt råd til å reise på ferie». Når kunden ga uttrykk for at summen var for høy, og kom med slike endringsutsagn, tok man tak i det for å forsterke motivasjonen for endring. Man forsøkte å få avtalt minst ett konkret tiltak med kunden (for eksempel å senke og låse spillegrense eller innføre utestenging fra enkeltspill som trigget mest). Dersom det framkom i samtalen at kunden hadde problemer med spill, informerte man om hjelpe- og behandlingstilbudet.

Erfaringen var at kundene i all hovedsak var positive til å bli kontaktet, og de første analysene viste at kund­ene reduserte forbruket etter samtalen. På grunnlag av disse positive funnene ble tiltaket videreført i en prosjektfase med to ansatte på fulltid.

I 2017 ble det gjennomført en stor studie for å undersøke effektene av to ulike intervensjoner sammenlignet med ingen intervensjon (kontroll) (Jonsson mfl., 2018). Studien ble satt opp som et randomisert eksperiment. 1 000 statistiske trillingsett (matchet på kjønn, alder og forbruk) ble tilfeldig trukket fra de 10 000 kundene som hadde tapt mest på pengespill det siste året. Hvert trillingsett ble så tilfeldig fordelt på én av tre betingelser: proaktiv samtale, informasjon i brev, og kontroll (ingen påvirkning). Brevene inneholdt samme informasjon som ble gitt i samtalen. Effektene ble målt som endring i innsats og teoretisk tap ved å sammenligne de siste tolv ukene før samtaledato med tolv uker etter samtalen. Samtalene førte til størst reduksjon i innsats og teoretisk tap, og effekten var signifikant sammenlignet med brev og kontroll. Brevet hadde også en signifikant reduksjon i innsats og teoretisk tap sammenlignet med kontroll.

Tabell 1 Effekter av samtale og brev sammenlignet med kontroll.
Endring i innsats og teoretisk tap tolv uker før vs. tolv uker etter intervensjonen. (Jonsson 2018)
SamtaleBrevKontroll
Innsats–48 507–16 167986
Teoretisk tap–4 767–2 573–481

Problemstilling – manglende kapasitet

Den potensielle målgruppen for proaktive samtaler var langt større enn den årlige kapasiteten til å gjennomføre samtaler. Ikke alle kunder som ble oppringt, var i målgruppen – noen spilte på vegne av flere (spille­lag), andre ønsket ikke å gjøre endringer. Dersom man kunne predikere hvilke kunder som mest sannsynlig ville respondere på en samtale ved å endre atferd / senke forbruk, ville det kunne øke effekten av det personalet man hadde til rådighet. Samtidig ville færre kunder utenfor målgruppen bli «forstyrret».

Utvelgelsen av kunder til proaktiv samtale ble gjennomført i form av et tilfeldig uttrekk blant de 10 000 kundene som hadde tapt mest penger på spill det siste året. Det betød at det var mulig å lage en generaliserbar modell for akkurat denne kundegruppen, og fra de 10 000 kundene lage et representativt treningssett for den populasjonen modellen skulle anvendes på (Provost & Fawcett, 2013).

Problemstillingen ble formulert som: Hvilke kunder (blant de 10 000 kundene med høyest årlig tap) bør prioriteres for en proaktiv samtale? Man ønsket å inkludere forskningsresultatene på effektene av samtaler og brev, slik at for å bli valgt for samtale burde forventet effekt være høyere enn det som kunne oppnås gjennom å sende brev (som var atskillig billigere). Modellen ble definert som et styrt læringsproblem (supervised learning) (Provost & Fawcett, 2013) med mål å predikere hvilke kunder man skulle ringe til. Modellen ble videre satt opp som et binært klassifikasjonsproblem, det vil si at modellen skulle skille mellom to klasser av kunder:

  • 1: Kunder med en positiv effekt (redusert forbruk)
  • 0: Kunder med negativ effekt eller en liten positiv effekt (økt forbruk eller liten reduksjon i forbruk)

Oppbygging av datatreningssett

For å lage et treningssett for å bygge modellen måtte man ta stilling til hva slags data som trengtes, hva som var tilgjengelig, og hvordan man skulle definere og operasjonalisere data. Man begynte med 1400 kunder – alle som hadde gjennomført en samtale over en tidsperiode på 13 måneder. Så måtte man bestemme seg for effektvariabelen – hva som skulle predikeres. Siden man ønsket å fokusere på effekt av samtalen, ble dette operasjonalisert som endring i forbruk før og etter samtalen – mer spesifikt, som forbruk siste tolv uker før og etter samtale, fordi tolv uker ble vurdert som tilstrekkelig lang tid til at man faktisk hadde en endring, ikke tilfeldige variasjoner. Selve forbruket kunne beregnes på tre ulike måter: innsats, tap (innsats minus premier) og teoretisk tap (innsats minus gjennomsnittlig premieandel). Det siste er mye brukt i forskning om pengespill fordi det ikke er så sensitivt for tilfeldige variasjoner på grunn av premier. Man bestemte seg for å teste alle tre – og effekt ble derfor definert som endring i innsats / netto tap / teoretisk tap tolv uker før og tolv uker etter kundens samtaledato.

Prediksjonsdata

Siden alt spill hos Norsk Tipping var identifisert og registrert, hadde man tilgang til mye data om kundene. Dataspesifikasjonen ble veiledet av en gjennomgang av forskningslitteratur med utgangspunkt i to hovedspørsmål: (1) Hva er knyttet til risikofylt/problematisk spilleatferd? (2) Hva er knyttet til positiv respons på korte intervensjoner?

Etter en del forsøk endte man med å hente totalt 112 variabler for hver kunde (se tabell 2)

Tabell 2 Data som ble benyttet i modellbyggingen (prediksjonsdata).
OmrådeAttributter/dataAntall variabler
Demografiske data / kundeinformasjonKjønn, alder, lengde på kundeforhold3
SpilleatferdInnsats, premier, netto tap og teoretisk tap – alle spill siste 1–3 år, sum siste 3 årInnsats, premier, netto tap og teoretisk tap per spillkategoriInnsats per salgskanal (fysisk/digital)Antall premier (i sum, per spillkategori, og antall over ulike terskler)Spillfrekvens, tidsbruk, intensitetInnsettinger og uttak fra spillerkonto68
Kundens bruk av spillansvarsverktøyPlayscan-status (antall uker grønn/gul/rød status)Spillegrenser ved samtaledatoEndringer i spillegrenser (antall ganger satt opp / satt ned)Nådde spillegrenser (antall)Frivillige spillepauser og utestenginger. Antall dagerObligatoriske spillepauserSjekket spillregnskap, bestilt spillregnskapsrapport37
Kontakt med kundeserviceAntall kontakterFølelsesmessig innstilling ved kontakt4

Datasettet ble trukket ut av Norsk Tippings datateam, vasket og klargjort for modellbyggingen.

Modellbygging

Til modellbyggingen brukte man DataRobot, en automatisert maskinlæringsløsning som søker gjennom tusenvis av logaritmer for å finne den eller de optimale modellen(e) for datasettet. Datarobot håndterer også validering – en utfordring ved maskinlæring er at det er en risiko for overspesifisering under modellbyggingen. Det betyr at logaritmen plukker opp særtrekk ved treningsdatasettet som ikke er generaliserbare når modellen senere skal anvendes på nye data. For å unngå slik overlæring deles treningssettet i to deler (vanligvis en 80/20-fordeling i trenings- og testdata), hvor modellen først trenes på den første delen før det testes på den andre delen – og det er resultatet av denne som indikerer hvor godt en modell vil fungere på nye data. Man benyttet kryssvalidering (at treningssettet ble delt opp i fem deler, der modeller ble trent på fire deler og testet på den femte iterativt i alle kombinasjoner) under selve modellbyggingen.

Utfordringer underveis

Maskinlæring har stort potensial – og både i medier og fagbøker er det gjerne suksesshistoriene som får plass. Ikke alle prosjekter lykkes, og veien fram mot gode modeller kan ofte være kronglete, med flere iterasjoner og en god del prøving og feiling underveis. Slik var det også for dette prosjektet.

Én utfordring var knyttet til å operasjonalisere effekt av samtalen – hva virket best av innsats, netto tap og teoretisk tap? Etter en rekke eksperimenter fant man at innsats og teoretisk tap ga best modeller, fordi algoritmene klarte å skille bedre mellom de to klassene. Man eksperimenterte også med ulike terskler som skille mellom klassene, og erfarte at høyere terskel for å komme i klasse 1 (kunde som responderer på proaktiv samtale med redusert forbruk) ga bedre modeller – men både etiske og praktiske vurderinger talte mot å bruke en høy terskel. Man fant også at å bruke en kortere periode for prediksjonsdata (fra 365 dager til 100) forbedret modellene betydelig, antakelig fordi det var spilleatferden tettere opp til samtaledato som hadde betydning.

Modellevaluering

En rekke ulike modeller basert på ulike sammensetninger og algoritmer ble evaluert (se tabell 3). Prediksjonsmodeller bygges på et treningssett som inneholder «fasiten», og derfor kan man sjekke hvor godt modellen klarer å treffe i sin klassifisering – både i sum på hele treningssettet og for hvert enkelt tilfelle. For å måle presisjonen til modellene brukte man F1-score, et enkelt statistisk mål for presisjon for binære klassifikasjoner.

Fra et ledelsessynspunkt var kanskje det viktigste resultatet en utfallsmatrise (confusion matrix) for hver modell som viste hvordan modellen klassifiserte hver kunde sammenlignet med kundens faktiske klasse­tilhørighet (sanne og falske positive og sanne og falske negative). Hvilke feil modellen gjør (ikke bare antall feil), var viktig fordi konsekvenser og kostnader kan være svært ulike for ulike utfall. I dette prosjektet hadde man større toleranse for falske positive enn for falske negative, siden Jonssons forskning hadde vist at samtalene hjelper risikospillere med å redusere spillingen sin.

I tillegg så man på ROC-kurvene, som illustrerer modellenes prediksjonsevne sammenlignet med tilfeldig valg ved å plotte sann positiv-raten mot falsk positiv-raten gjennom datasettet. En ideell kurve vokser raskt og avtar etter som verdiene nærmer seg 1. AUC-score beskriver området under ROC-kurven (0–1) og er et godt statistisk mål på hvor godt modellen presterer.

Tabell 3 Evaluering av de ulike modellene.
Effekt variabel operasjon­aliseringModellF1-scoreAUCUtfallsmatrisePresi­sjons­rate
Sann positivFalsk positivSann negativFalsk negativ
WAGERS 25 000AVG Blender0,80840,82111354579190,75
WAGERS 60–40AVG Blender0,81390,7768164273930,69
NET SUM 60–40AVG Blender0,79140,73701516249160,71
THEOR LOSS 60–40eXtreme Gradient Boosted …0,80100,78711576843100,70
WAGERS 50–50AVG Blender0,79070,83241194396200,73
NET SUM 50–50Nystrøm Kernel SVM0,70790,73321034890370,68
THEOR LOSS 50–50Light Gradient Boosted …0,74010,79701216672190,65
WAGERS 40–60AVG Blender0,79070,884010244122100,70
NET SUM 40–60AVG Blender0,69200,78681007789120,56
THEOR LOSS 40–60AVG Blender0,72220,82629149117210,65

Modelleffekt og modellvalg

Siden treningssettet besto av et representativt utvalg blant de 10 000 kundene som hadde tapt mye på spill det siste året, kunne man beregne hvilken forbedring de ulike modellene ville gi. Disse premissene lå til grunn for beregningen:

  • Treningssettet var trukket tilfeldig og var derfor representativt for de 10 000 kundene som lå på topp (årlig tap).
  • Klassefordelingen i populasjonen kunne derfor deduseres.
  • Kostnadsbasen var fast (to fast ansatte på dette tidspunktet).
  • Modellens resultat innebærer at alle sanne og falske positive skal ringes til.
  • På grunn av en høy andel falske positive påvirkes resultatet av presisjonsskåren (SP/SP+FP). En høy presisjonsskåre vil øke modellens effektivitet.

Man sammenlignet alle modellene mot «baseline», som var endringen i forbruk som kundene i treningssettet hadde. For treningssettet (1 400 kunder) var det en reduksjon i innsats på 117 MNOK, i netto tap på 14 MNOK og i teoretisk tap på 9,5 MNOK (tolv uker før versus tolv uker etter samtalen).

Tabell 4 De ulike modellenes forventede nytte (forbedring sammenlignet med tilfeldig utvalg av kunder).
Ulike operasjon­aliseringer av effektvariabelTerskel-separerer klasse 1Modell (Data­Robot)Endring i % sammenlignet med tilfeldig utvalg av kunderRanking
Inn­satsNetto tapTeoretisk tapInn­satsNetto tapTeoretisk tapI sum
WAGERS 60–4016 284AVG Blender28,68,625,1610910
NET SUM 60–405 540AVG Blender13,924,814,4104109
THEOR LOSS 60–403 13627,110,127,57968
WAGERS 25 00025 000AVG Blender59,816,650,53633
WAGERS 50–5037 010AVG Blender74,22059,62522
NET SUM 50–508 48126,24226,18174
THEOR LOSS 50–505 292Light Gradient Boosted Tress with Early42,315,841,45756
WAGERS 40–6067 438AVG Blender58,514,943,44844
NET SUM 40–6011 520AVG Blender2540,125,29287
THEOR LOSS 40–607 960AVG Blender77,329,474,71311

Oversikten viste at modeller som baserte seg på teoretisk tap og innsats, og som hadde forholdsvis høy terskel for spilleavhengighet, ga størst forventet forbedring.

Valg av modell

I tillegg til prediksjonsevne og forventet forbedring var det noen tilleggsvurderinger som ble gjort før man anbefalte modell.

Norsk Tipping hadde bestemt å øke antall ansatte i samtaleteamet fra to til tre. Samtaler ble gjennomført med 65 prosent av dem som man forsøker å nå. Økningen i bemanning ville øke den årlige casekapasiteten til 3 230 kunder. Dersom man valgte en modell med en høy terskel for klasse 1, ville modellens levetid bli kort, kanskje bare ett år, fordi man ganske raskt ville ha ringt alle i klasse 1.

Jonssons forskning hadde vist at en proaktiv samtale hjelper spillere med risikofylt spilleatferd med å redusere forbruk. Høyt forbruk er en klar risikoindikator, men konsekvensene for den enkelte kunde avhenger også av kundens økonomi, som man ikke hadde informasjon om. Det var derfor etisk problematisk å velge en høy terskel, fordi det betyr at kunder som trenger hjelp og sannsynligvis kan nyttiggjøre seg hjelpen, ikke får det. Det framstår derfor som et etisk godt valg å sette terskelen for å bli ringt noe over den endringen som kan forventes ved å sende kunden et brev, og ikke så høyt at kunder som vil dra nytte av samtale, blir ekskludert med mindre en stor endring kan forventes.

Man endte opp med å anbefale enten WAGERS 25 000- eller WAGERS 50/50-modellen.

Innsikt i modellen

En utfordring med maskinlæring er at mange algoritmer ikke er transparente, vesentlig fordi modellene blir kompliserte og dermed i stor grad «svarte bokser». Dette kan være en utfordring i møte med beslutningstakere, som ønsker å forstå hvordan modellen fungerer, før beslutningen om å bruke den fattes.

Verktøyet DataRobot ga en oversikt over hvilke faktorer som har størst betydning i modellen, og denne oversikten ga en viss mulighet til kvalitetssikring opp mot domene- og fagkunnskap. For den anbefalte modellen (WAGERS 25 000) var de viktigste faktorene ulike forbruks- og intensitetsvariabler, noe som var på linje med forskning om risikofylt eller problematisk spille­atferd. Teoretisk tap siste 100 dager og antall spillrunder siste 100 dager var de to faktorene som hadde størst betydning. Videre hadde ulike forbruks- og intensitetsfaktorer knyttet til nettbaserte kasinospill stor betydning. Kasinospill er i sterk grad forbundet med spilleproblemer. Man så også at kundens personlige spillegrenser og antall ganger kunden hadde satt ned spillegrenser, hadde relativt stor betydning, antakelig fordi disse faktorene fanget opp at kunden var klar for å gjøre en endring i sitt spillemønster.

Resultat og læring

Målet var å bygge en prediksjonsmodell som kunne forbedre effekten av proaktive samtaler. Kapasiteten til å gjennomføre samtaler var mindre enn behovet, men med modellene kunne man forbedre resultatet ved at man prioriterte å ringe kunder som responderte på samtalen ved å redusere spillforbruket sitt. De to modellene man anbefalte i sluttvurderingen, ble estimert til å forbedre effektene med 60–74 prosent reduksjon i kundenes innsats, 17–20 prosent reduksjon i netto tap og 51–50 prosent reduksjon i teoretisk tap, sammenlignet med tilfeldig utvelgelse av kunder til samtalene. Det betyr også at man når flere kunder som både trenger og er klare for å gjøre en endring.

Veien framover

I annet halvår 2018 testet man ut den ene av de to anbefalte modellene og gjennomførte cirka 500 samtaler med kunder. Resultatet var ikke klart (siden det måtte gå tolv uker etter siste samtale) da denne artikkelen ble skrevet.

Det er litt rart, tenkte Tanja: De siste årene har det vært et økende oppmerksomhet om at ny teknologi, som sosiale medier, skaper problemer og avhengighet blant brukere. Dette er i bunn og grunn samme problemstilling som den Norsk Tipping står i når det gjelder å forebygge spilleproblemer. Sosiale medier bruker i stor grad algoritmer bygget via maskin­læring til å øke brukstid, antall klikk og liker. Men Norsk Tipping hadde vist at maskinlæring også kan brukes til å øke effekt og relevans av tiltak som for­søker å påvirke til redusert og mer bærekraftig forbruk. Dette er erfaringer som kan være relevante også for andre bransjer.

  • Andersen, E., Johnson, C., Kolbjørnsrud, V., & Sannes, R. (2018). The data-driven organization: Intelligence at SCALE. I At the forefront, looking ahead: Research-based answers to contemporary uncertainties of management (s. 23–42). Oslo: Universitetsforlaget.
  • Jonsson, J. (2018). Proaktiva samtal – Rapport til Norsk Tipping med preliminära resultat. Stockholm: Sustainable Interaction.
  • Jonsson, J., Hodgins, D.C., Munck, I., & Carlbring, P. (2019). Reaching out to big losers: A randomized controlled trial of brief motivational contact providing gambling expenditure feedback. Psychology of Addictive Behaviours. Hentet 05.03.19 fra http://dx.doi.org/10.1037/adb0000447
  • Pallesen, S., Molde, H., Mentzoni, R., Hanss D., & Morken, A. (2016). Omfang av penge- og dataspillproblemer i Norge 2015. Rapport (oppdragsforskning for Lotteri- og stiftelsestil­synet). Universitetet i Bergen, Institutt for samfunnspsykologi.
  • Provost, F., & Fawcett, T. (2013). Data science for business. Sebastopol, CA: O’Reilly Media.
  • Siegel, E. (2016). Predictive analytics. Hoboken, NJ: Jon Wiley & Sons.
  • Stephens-Davidowitz, S. (2017). Everybody lies: Big data, New data, and what the Internet can tell us about who we really are. London: Bloomsbury Publishing.

© Econas Informasjonsservice AS, Rosenkrantz' gate 22 Postboks 1869 Vika N-0124 OSLO
E-post: post@econa.no.  Telefon: 22 82 80 00.  Org. nr 937 747 187. ISSN 1500-0788.

RSS