Generativ AI utvecklas och inspirerar

Nya tekniker inom syntetisering av tal, röst, och gester utvecklas i snabb takt. De används till exempel för interaktiva mediaupplevelser, digitala assistenter, artificiella lärare och träningsobjekt såsom virtuella patienter. Under WASP Research Arenas Expo den 21 september demonstrerades flera exempel.

WASPs forskningsarena för media och språk (WARA Media and Language) samlar forskare inom generativ AI från akademi och näringsliv.

“Det händer mycket roligt och inspirerande inom generativ AI just nu, och WASP Research Arenas Expo är ett bra tillfälle att utbyta ny kunskap” säger Johanna Björklund, projektledare för WARA Media & Language.

Under WASP Research Arenas Expo den 21 september kunde besökarna ta del av ett axplock av projekt inom AI-driven speltestning, AI-skapad konst och musik, och generativ Natural Language Processing. En av höjdpunkterna var automatiskt genererade digitala avatarer.

Avatarerna utvecklades nyligen av doktorander under WASPs sommarskola ”Synthesis of Human Communication”. Uppgiften var att på ganska kort tid konfigurera ett tekniskt flöde uppbyggt av flera moduler som var och en hanterar olika delar av mänsklig kommunikation för att skapa talande och gestikulerande avatarer.

Mänsklig kommunikation i fyra moduler

Den första modulen i flödet är en storskalig språkmodell som producerar text som fortsättning på en prompt. Som fortsättning på påståendet ”Digital assistants can” lägger systemet till exempel till “make your life easier, but only if you know how to use them.” Under sommarskolan använde doktoranderna både en generativ modell på engelska, och en helt ny språkmodell för svenska och de nordiska språken; GPT-SWE med 5 miljarder parametrar som tränats på superdatorn Berzelius.

Nästa modul i flödet grundades i det generativa neurala nätverket Tacotron 2 som automatiskt översätter text till tal. Några av doktoranderna valde att träna systemet på sina egna röster för att avatarerna skulle tala mer som dem.

I nästa steg översattes rösterna till gester som harmonierar med avatarernas tal. Det sista steget i kedjan var att genom visualisering i tv-spelsmotorn Unreal ge avatarerna ett unikt utseende.

WASP Research Arena Media and Language

WASPs forskningsarenor (WASP Research Arenas - WARA) fungerar som gränssnitt mellan forskare knutna till WASP och det omgivande samhället. Till de nyare arenorna hör WARA Media and Language som ska skapa en multidisciplinär forskningsgemenskap inom området AI för Media och Språk. Centrala mål för arenan är att främja kunskapsöverföring mellan olika tillämpningsområden, och att ge forskare tillgång till datamängder och testmiljöer från företag och industri.