”Forskningen kan vara god eller ond”

Forskarna måste ta ansvar för vad deras resultat kan användas till i samhället. Det menar Olle Häggström, professor i matematisk statistik på Chalmers, som är aktuell med en ny bok om framtida teknologier. Forskningens potential att skapa mänskligt välstånd är enorm, men även riskerna är enorma, menar han. En hel del av den kunskap som utvecklas nu skulle kunna leda till mänsklighetens undergång inom 100 år om det vill sig illa.

Here be dragons var ett begrepp på medeltida kartor. Outforskade delar av världen märktes ut med varningen, och den som tog sig in i ett sådant område skulle vara medveten om att okända monster skulle kunna dyka upp.

Here be dragons är också namnet på Olle Häggströms nya bok om riskerna med vår teknikutveckling – med undertiteln Science, Technology and the Future of Humanity. Hans varning gäller en rad forskningsområden, bland annat artificiell intelligens, nanoteknik och syntetisk biologi. Till skillnad från sin förlaga berör varningen inte bara enskilda äventyrare, utan oss alla. Om monstren dyker upp så skulle de kunna leda till att människan utplånas enligt Olle Häggström.

Temat är välbekant från många science fiction-skildringar. Men Olle Häggström menar att vi nu har nått en punkt där hotet har blivit högst reellt, på grund av vår accelererande teknikutveckling och globala kunskapsspridning.

– Syntetisk biologi är antagligen det område där riskerna ligger närmast i tid. Det kommer att bli svårt att begränsa kunskapsspridningen om hur man till exempel skapar artificiella virus som är mycket farligare än naturliga. Och det finns tillräckligt många galna människor i världen för att detta ska utgöra en betydande risk inom ganska kort tid.

Riskerna och möjligheterna följs åt
När det gäller artificiell intelligens (AI) handlar de mest dramatiska riskerna om den så kallade Singulariteten. Det är ett tänkt läge i framtiden där maskinerna blir mer intelligenta än människorna, och kommer över en gräns där de själva kan börja förstärka sin egen intelligens. Sedan skulle de kunna vända sig mot människorna av olika skäl. Till exempel på grund av en slags programmeringsmissar: om maskinerna är programmerade för att maximera den mänskliga lyckan i sin omgivning så kan de tolka det som att de bör utrota alla människor, om de beräknar att mänskligt lidande alltid överstiger mänskligt välbefinnande.

De forskningsområden som innebär högst risker är till stor del samma områden som kan ge oss störst möjligheter att lösa mänsklighetens problem och öka välståndet i världen. Olle Häggström menar att den enskilde forskaren måste ta på sig en del av ansvaret för nytta/risk-analysen när det gäller de möjliga konsekvenserna av den egna forskningen.

– Man hör ofta forskare säga att det inte finns någon god eller ond teknologi, bara goda eller onda tillämpningar, och att det inte är vår sak att avgöra vad följden av vårt arbete kan bli. Men det är helt oacceptabelt. Om ens forskning till exempel leder till att det blir väldigt lätt för terrorister att orsaka stor skada så behöver man ha med det i sin avvägning när man väljer vad man ska ägna sig åt. På den punkten är jag moralist.

Vi kan åtminstone bromsa den farligaste utvecklingen
Han köper inte heller argumentet ”om inte vi utför den här forskningen så gör någon annan det, kanske i ett land där den blir mycket farligare”. Dagens snabba teknikutveckling inom de hetaste områdena beror på kollektiva processer, med global kunskapsspridning och bidrag från många forskargrupper välden över. Att förlänga den tid det skulle ta att utveckla väldigt riskabla teknologier är ett skäl gott nog för att inte delta – för såväl enskilda forskare som organisationer, företag och länder.

– Låt oss säga att alla länder utom till exempel Nordkorea enas om att avstå från utveckling av ett visst slags domedagsvapen. Kanske klarar Nordkorea av att utveckla vapnet på egen hand, men rimligtvis tar det längre tid än om hela världen deltog. Om vi på så vis får tio års extra respit; visst vore det bra?
– Det är inget konstigt resonemang, precis så tänker vi ju om våra egna enskilda liv. Vi vill leva tio år längre om vi får chansen. Dessutom skulle ett sådant scenario ge resten av världen tio års extra förberedelser för att kunna hantera problemet när det kommer.

Finns det något område där man redan idag kan slå fast att riskerna är för stora för att det ska vara försvarbart att fortsätta forskningen?
– Ja, jag vill nog mena att utvecklingen av AI-teknologi för militära drönare och andra vapen är ett sådant område. Den forskningen borde beläggas med ett internationellt embargo.

Hur brukar andra forskare reagera när du pratar med dem om frågorna som boken handlar om?
– Det är väldigt olika. Ofta blir det bra diskussioner, men hos många finns det starka förträngningsmekanismer och ett motstånd mot att tänka i de här termerna över huvud taget. Speciellt hos forskare som själva arbetar inom de mest riskabla områdena. Argumentet om att tekniken inte är god eller ond i sig dyker ofta upp. Just det argumentet funkar ofta jättebra som one-liner, men tänker man efter är det katastrofalt dumt.

Hur länge har du själv tänkt i de här banorna?
– Jag insåg hur viktigt det här är för åtta-tio år sedan. Under flera år drog jag mig för att börja arbeta med det, för jag trodde att det skulle bli för tungt att gå så djupt in på risken för mänsklighetens undergång. Men det har visat sig att det funkar för mig att arbeta med de här frågorna på ett rent intellektuellt plan och tänka bort den existentiella ångesten som de lätt kan leda till.

Överblick och samordning måste till
Olle Häggström utesluter inte att det kan bli nödvändigt att acceptera kontroversiella åtgärder för att minska risken för apokalypsen. Exempelvis ökad övervakning av information och politisk styrning av forskningen.

– Det här är väldigt svåra frågor; sådana åtgärder skulle ju innebära enorma nackdelar. I dagsläget är det inget jag förespråkar. Det vi däremot måste göra så fort som möjligt är att kartlägga och sammanställa den kunskap som finns, och skapa en bred och seriös diskussion om vilken slags värld vi vill skapa. Jag tycker att Sverige ska gå före i de här frågorna och bli en förebild internationellt.

I en debattartikel i Svenska Dagbladet argumenterade han nyligen för en statligt sanktionerad utredning i Sverige – och på längre sikt inrättandet av ett internationellt organ med uppgift att kartlägga de största riskerna med teknikutvecklingen.

Here Be Dragons är Olle Häggströms bidrag till den ökande medvetenhet om teknikriskerna som har anser behövs i hela samhället. Det kan inte vänta.

– Vårt århundrade kommer troligen bjuda på ännu mer radikala förändringar än vad 1900-talet gjorde. Det krävs ett rejält uppvaknande kring de här frågorna om vi ska kunna göra rätt avvägningar under de kommande åren, så att vi kan utforska den obeträdda marken utan att träffa på monster.

Text: Johanna Wilde

Foto: Anna-Lena Lundqvist

Boken Here Be Dragons: Science, Technology and the Future of Humanity gavs ut av förlaget Oxford University Press den 21 januari.

Se Olle Häggström presentera sin bok och diskutera innehållet, i Göteborg eller Stockholm:

Torsdagen den 11 februari kl 15:15: Öppen föreläsning på Chalmers.

Måndagen den 15 februari kl 16: Öppet seminarium i Stockholm arrangerat av Institutet för framtidsstudier och Fri Tanke förlag.

Läs mer:
Debattartikeln i Svenska Dagbladet om riskerna med vår teknikutveckling.

Recension av boken i tidskriften New Scientist.

Olle Häggströms blogg om samhällsfrågor och vetenskap, Häggström hävdar.