Nyhet -
Jakt på strategier för att avslöja fabricerad media
Det blir allt lättare att skapa falska bilder, texter och filmer som är så realistiska att de är svåra att skilja från verkligheten. Risken att tekniken missbrukas av illasinnade aktörer ökar. FOI-rapporten Detection of Fabricated Media kartlägger hur fabricerad media kan upptäckas.
Under presidentvalskampanjen i USA 2020 fick ett videoklipp stor spridning. I klippet kliver Joe Biden upp på en scen och ropar ”Hello, Minnesota!” till publiken – något som får honom att framstå som förvirrad, eftersom det på affischen i bakgrunden står Tampa, Florida. Klippet hann ses mer än en miljon gånger på Twitter innan det avslöjades som manipulerat. I själva verket befann sig den dåvarande presidentkandidaten i Minnesota, men bakgrunden hade ändrats i videoklippet.Händelsen är ett exempel på hur fabricerad media kan skapas och användas i syfte att orsaka skada. Det kommer sannolikt bli vanligare i framtiden, enligt Fredrik Johansson som är forskningsledare på FOI:s avdelning för försvarsteknik och en av författarna till rapporten Detection of Fabricated Media.
– Vi vet att det finns aktörer som lagt stora resurser på att producera falsk media som sedan spridits över sociala plattformar i syfte att gynna vissa narrativ och skapa politisk splittring. Många oroar sig över att den här typen av missbruk kommer kunna automatiseras ännu mer i takt med utvecklingen av ny teknik, säger Fredrik Johansson.
Svårt upptäcka avancerade förfalskningar
Fabricerad media har blivit allt mer sofistikerad som en följd av utvecklingen inom artificiell intelligens, AI, och det som kallas generativ modellering. Genom att analysera stora mängder data kan AI tränas upp till att ta fram ny konstgjord information som verkar rimlig och verklighetstrogen, exempelvis nyhetsartiklar och bilder på människor.
I FOI:s rapport undersöks olika metoder för att upptäcka fabricerad media i form av text, bild, tal och video. Forskarnas bedömning är att dagens metoder klarar av att upptäcka falsk media som skapats med de mest lättillgängliga tillvägagångssätten.
– Men i vår studie ser vi att om någon anstränger sig mer, till exempel tränar vidare AI-modellerna med mer data eller använder nya tekniker för att dölja spåren efter den fabricerade informationen, så fallerar detektionsmetoderna ganska snabbt, säger Fredrik Johansson.
Mycket talar för att statliga aktörer i flera fall ligger bakom, som en del av påverkansoperationer. Även om allmänheten inte går på varje manipulerad bild eller text kan det i längden bidra till osäkerhet och destabilisering.
Katt- och råttalek
Hittills har det bedrivits mer forskning kring metoder att skapa fabricerad media än sätt att upptäcka den, enligt Fredrik Johansson.
– Nu har forskningsvärlden fått upp ögonen för problemet eftersom man ser riskerna. Men forskarna ligger ett par år efter. Det blir ett slags katt- och råttalek.
FOI ser dock också möjligheter med den nya tekniken. Generativ modellering kan bland annat användas för att förbättra övningsscenarier inom Försvarsmakten.
– Ur ett försvarsmaktsperspektiv är vi intresserade av hur sådana här modeller kan användas för att åstadkomma mer realistiska övningar i simulatorer, säger Fredrik Johansson.
FOI har nyligen släppt två rapporter på området: Detection of Fabricated Media som är en genomgång av metoder för att upptäcka fabricerad media och Data Synthesis using Generative Models som fokuserar på hur generativ modellering kan användas för att bland annat skapa realistisk media i militära sammanhang. Båda rapporterna är producerade på uppdrag av Försvarsmakten.
