Når den svarte boksen sier nei

Se opptak fra personvernseminaret 30. januar her.

Denne kronikken ble publisert i Dagens Næringsliv 30. januar og er skrevet av Teknologirådets direktør Tore Tennøe og Datatilsynets direktør Bjørn Erik Thon i forbindelse med personverndagen.

En tannbørste var blant stjernene på elektronikk-messen CES i Las Vegas nylig. Når du pusser tennene, sender sensorer data til den innbygde algoritmen: hvor, hvor lenge og hvor ofte du pusser. Over tid lærer tannbørsten deg å kjenne og sender deg tips til hvordan du kan forbedre munnhygienen.

Om en intelligent tannbørste får deg til å himle med øynene eller måpe av begeistring, er den uansett et typisk uttrykk for tiden vi er inni. Tingene vi omgir oss med er ikke lenger livløse objekter – de tegner et digitalt bilde av våre liv. Tingene skal gi oss en digital merverdi. da må de også registrere data om hvordan vi bruker dem. For produsenten ligger ikke nødvendigvis verdien i tannbørsten som selges, men i data som samles inn når vi bruker den.

Ikke overraskende kobler forsikringsbransjen seg på. Det amerikanske firmaet Beam Dental har allerede utviklet tannhelseforsikring hvor kundene sender tannbørste-data. I retur får de mer persontilpassede, og muligens billigere forsikring.

FaceBank

Et revidert EU-direktiv om betalingstjenester trer i kraft i 2018. Da vil selskap utenfor banksektoren, med forbrukerens samtykke, kunne bygge tjenester på toppen av bankenes data og infrastruktur. I nær fremtid vil du altså kunne bruke Facebook eller Google til å betale dine regninger, mens du fortsatt har pengene trygt plassert i banken. Facebook har allerede fått tildelt lisens for å levere betalingstjenester.

Hvordan skal banker og forsikringsselskaper kunne levere bedre og mer persontilpassede tjenester enn internettgiganter som kjenner oss i detalj og har tilgang på verdens fremste kunstig intelligens?

Skattefuten blir en algoritme

Mulighetene i teknologien begrenser seg ikke til privat sektor. Regjeringen har en uttalt ambisjon om en døgnåpen forvaltning med automatisert saksbehandling. Stadig flere oppgaver og avgjørelser kan flyttes fra menneske til maskin.

Mulighetene er mange og Skatteetaten er allerede i gang. De har utviklet en prediksjonsmodell med 30 variabler, som de bruker i dag for å rangere en persons risiko for feil i selvangivelsen. Med tilfeldige stikkprøver ville de funnet feil i 17 prosent av selvangivelsene. Men denne metoden avdekket feil i hele 71 prosent.

Samtidig erkjente Skatteetaten i fjor at de ikke helt forstod hvorfor enkelte skatteytere hadde lav eller høy risiko for feil. Her kommer en ny utfordring: intelligente systemer kan gi stor gevinst, men jo mer avanserte algoritmene er, jo vanskeligere kan det være å få oversikt og forklaring.

Når vi overlater stadig mer til maskinene, er det da viktig å spørre om vi klarer å beholde tilliten tjenestene er helt avhengige av. Dersom vi ikke lenger kan forklare hvordan og hvorfor en beslutning er tatt, blir algoritmene «svarte bokser» som i stedet skjuler vurderingene, usikkerhetene og valgene beslutningen hviler på.

Rett til en forklaring

Staten har et klarspråk-program, men mange etater sliter fortsatt med å gi folk flest gode forklaringer ved hjelp av de alfabetets 29 bokstaver. Da kan man tenke seg hvordan det blir når forklaringen skal gis på grunnlag av avanserte algoritmer.

Men verken banker, forsikringsselskaper eller offentlige etater kan leve med et slikt forklaringsproblem. EUs personvernforordning, som trer i kraft i Norge i 2018, sikrer innbyggerne en rett til en forklaring. Blir saken din behandlet av en maskin, har du krav på en forklaring du forstår. Både om hvordan vurderingen er gjort, og hvilke opplysninger som inngår i beslutningen.

Det kan bli krevende å forklare hvordan mange hundre opplysninger blir brukt til å treffe en beslutning. Men gjort på riktig måte, kan personvern og åpenhet om algoritmene bli en konkurransefordel i privat sektor. Det bygger tillit hos forbrukeren og gir også en anledning til å skille seg fra aktørene som driver nærgående analyser av deg, uten at du får vite hvordan algoritmen fungerer. Her må Datatilsynet gå i dialog med bransjen og utvikle ny metodikk for å føre tilsyn med algoritmer.

For offentlige etater er ikke tillit et konkurransefortrinn, men en nødvendighet. Derfor er det presserende at folk får en forklaring hvis datamaskinen skal ta beslutningene. Da er det ikke nødvendigvis den mest intelligente løsningen som er den beste.

Les hele rapporten her: