Superintelligens, makt og menneske-rettigheter

For fjerde år på rad har Teknologirådet og Norges institusjon for menneskerettigheter (NIM) kombinert vår ekspertise og perspektiver på menneskerettigheter og teknologi i en felles rapport. I denne rapporten utforsker vi ulike framtidsscenarioer for et 2030 med superintelligens, og vurderer konsekvenser for menneskerettighetene avhengig av hvem som kontrollerer teknologien: selskaper, stater, globalt samarbeid eller et økosystem av ulike aktører.

Hva er superintelligens?

Det finnes i dag mange begreper for å forklare og definere intelligens i maskiner. Formålet med utviklingen av kunstig intelligens er enkelt forklart å gjenskape menneskelig intelligens i maskiner, men hva dette i praksis vil innebære, er det ulike synspunkter på.

Begrepene kunstig generell intelligens og superintelligens brukes om hverandre, og skillet er ofte uklart. Begge begreper viser til ideen om maskiner med intelligens på menneskelig nivå, men hva konkret dette innebærer er mindre presist definert. Men som regel skiller man mellom kunstig generell intelligens (på menneskelig nivå) og superintelligens (over menneskelig nivå). I denne rapporten legger vi til grunn at superintelligens er en type intelligens i maskiner som overgår menneskelig nivå.

Hvem får kontroll over en eventuell superintelligens?

En sentral utfordring i diskusjonen om superintelligens er om mennesker vil klare å beholde kontrollen over systemer som blir stadig mer autonome, komplekse og uforutsigbare.

Selv om det er uenighet om i hvilken grad det er mulig å ivareta kontroll over stadig mer avansert KI, og på sikt superintelligens, er det bred enighet om at kontroll er avgjørende. Ikke fordi vi garantert vil få superintelligens, men fordi konsekvensene av å miste styring over stadig mer autonome og avanserte KI-systemer kan bli alvorlige for mennesker og samfunn.

Fire scenariofortellinger

For å bedre forstå hvordan superintelligens kan påvirke menneskerettighetene bruker vi scenariofortellinger for å utforske hvordan rettigheter kan påvirkes, avhengig av hvem som kontrollerer teknologien.

Framtidsscenarioene viser at superintelligens ikke bare er et teknologisk spørsmål, men et grunnleggende maktfordelings- og styringsspørsmål: Hvem har kontroll, hvem kan holdes ansvarlig, og hvem får beskyttelse?

Gjennom fire ulike framtidsvisjoner der superintelligens styres av enten

• selskaper,
• stater,
• globale institusjoner, eller
• alle (og ingen)

ser vi at valg av styringsmodell får dyptgripende konsekvenser for demokratiet, rettigheter, sikkerhet og samfunnsutvikling.

Scenarioene peker ikke på én fasit, men de synliggjør hvilke risikoer og muligheter som oppstår under ulike maktforhold. De viser hvor sårbare menneskerettighetene er når kontrollen svikter, hvor kraftfulle positive virkninger som kan oppstå under ansvarlig styring og hvor raskt balansen mellom stat, marked og individ kan forskyves.

Hovedkonklusjoner i rapporten

• Kontroll over superintelligens er avgjørende for å beskytte menneskerettighetene. Uten en ansvarlig og rettslig forpliktet aktør svekkes vernet av grunnleggende rettigheter.
• Maktforskyvning fra stater til selskaper svekker menneskerettighetenes stilling. Det er stater og ikke selskaper som skal ivareta og garantere for menneskerettighetene. Når superintelligente systemer opererer uten offentlig innsyn, blir rettigheter i praksis avhengige av kontraktsvilkår og markedslogikk.
• Demokratisk handlefrihet og nasjonal sikkerhet vil svekkes dersom samfunnets kritiske tjenester og funksjoner blir avhengige av en kommersielt styrt superintelligens. Avhengighet av teknologiutvikling i andre jurisdiksjoner vil trolig innebære begrenset innsyn og kontroll.
• Statlig kontroll over superintelligens kan gjøre statsmakten for mektig. Dersom staten utstyres med superintelligens vil makten i samfunnet gravitere mot staten og bort fra motmakten, noe som kan svekke eller undergrave demokratiet og politiske og sivile rettigheter.
• Globalt samarbeid om ansvarlig utvikling og bruk av KI blir stadig viktigere. Enkeltstater vil trolig ikke kunne regulere superintelligens alene; internasjonale styringsstrukturer, samarbeidsarenaer og felles spilleregler blir viktigere i møte med avanserte og autonome KI-systemer.
• Evnen til å bevare kontroll over komplekse KI-systemer er en nøkkelutfordring. Etterprøvbarhet, maktspredning, åpenhet og effektiv håndheving av eksisterende og nye lovverk er viktig for å styrke ansvarlighet når KI blir stadig mer kraftig.

Vår analyse viser at det å sikre ansvarlig utvikling og bruk av kraftige KI-systemer er en presserende demokratisk utfordring, som krever solid innsikt i teknologiutviklingen, politisk handlekraft og et sterkt vern om grunnleggende rettigheter.

Hanne Sofie Lindahl og Joakim Valevatn fra Teknologirådet, og Cecilie Hellestveit, Vidar Strømme og Vetle Seierstad fra NIM har ledet prosjektet.