Huawei presenterar ljudet av norrsken – skapat av AI

Nya Huawei Mate20 Pro har med sina kamerafunktioner bländat en kräsen publik och med sin kraftfulla prestanda imponerat på nogräknade medier. Men nu har mobilen utmanats ytterligare – att fånga ljusets ljud och därav skapa ljuv musik. Tillsammans med ledande artister och mobilens kraftfulla AI-teknik har världens mest fascinerande ljusfenomen tolkats – norrskenet. Resultatet är något av det mest spännande inom skapande av ny musik idag. Ett fängslande musikäventyr där teknik, artister och ljusfenomen tillsammans skapat ett bländande och hänförande verk – symfonin Sound of Light framförd i den berömda Brahms-hallen i Wien.

Sound of Light är ett samarbetsprojekt som utmanat människans förmåga att lära ett AI-system att avläsa bilder och skapa ljud. Uppgiften har gått ut på att fånga norrsken i Norge, lära ett special-anpassat AI-system i Mate20 Pro att tolka ljuset och därefter omvandla ljuset till musikelement. Dessa element användes sedan till att skapa grunderna till en symfoni. Det artistiska teamets slutgiltiga utmaning var därefter att skapa en multisensationell upplevelse, assisterad av AI-innovationer och som slutligen resulterade i ett unikt norrskensspråk, vilket varken hörts eller på detta sätt upplevts någon gång tidigare.

Resan från norrsken till symfoni
Projektet inleddes med att norrskensjägaren Kjetil Skoglifilmade norrsken på de öppna fälten vid Tromsö i Norge. Filmerna skickades sedan till ett ljudlabb där den prisbelönta kompositören Mark Sayfritz arbetade med det specialbyggda AI-systemet för att skapa en symfoni. En symfoni baserad på Kjetils filmer som kördes på Huawei Mate20 Pro. När ljudstyckena sedan var komponerade delades de med en av världens bästa kompositörer, James Shearman. Han skapade därefter ett arrangemang för en symfoniorkester redo att framföras i den berömda Brahms-hallen i Wiens Wiener Musikverein (Wiens konserthus) med titeln Sound of Light.

Huawei Mate20 Pro passade väldigt bra för Sound of Light-projektet, med sina kraftfulla funktioner och förmåga att stödja projektets specialbyggda AI-system. Ett system som skapades för att känna igen och analysera ljudets olika egenskaper och utvecklades till att kunna omvandla norrskenet i filmerna till musikaliska element.

- Att introducera artificiell intelligens i min skapandeprocess har öppnat upp ett helt nytt utbud av kreativa möjligheter. Nu kan jag mata in bilder och filmer av norrskenet i ett AI-system som analyserar saker som färg, storlek, form och hastighet. Baserat på resultaten av analysen genererar systemet olika variationer av mina musikaliska fraser. Det betyder att när AI känner igen ett särskilt ljusspel, kan det omvandla intensiteteten i ljuset att matcha rätt musikelement. Dessa element för jag sedan samman och skapar symfonier, säger Mark Sayfritz.

De musikaliska elementen som genereras skulle normalt behöva analyseras av väldigt kraftfulla datorer. Det beror på den intensiva bearbetningsfasen som krävs för att analysera levande material. Men med stöd av det specialbyggda AI-systemet kunde teamet göra om Mate20 Pro till en nästa generations dator. Under liveuppspelningen matas den konverterade datan via Mate20 Pro till anslutna synthesizers, vilket i sin tur skapar musikaliska element vid framförande av symfonin.

En kväll med AI, musik och norrsken
Och hur låter då ljudet av norrsken? Svaret framfördes den 28 november i den berömda Brahms-hallen i Wiens Wiener Musikverein (Wiens konserthus). Över 300 personer hade förmånen att uppleva denna unika symfoni framförd av dirigenten James Shearman och orkestern Synchron Stage Orchestra. Under kvällen visades en ’’behind the scenes-film’’ som beskrev resan från himmel till scen.

Se resultatet och lyssna till symfonin Sound of Light här: youtube.
MP3: Lyssna till symfonin: http://bit.ly/2BB48Au
WAV: Lyssna till symfonin: http://bit.ly/2RjWjoq

Om deltagarna

Kjetil Skogli, norrskensjägare och fotograf
Kjetil Skogli är fotograf och arbetar som professionell guide av norrskenet i Tromsö. Skogli har tidigare arbetat tillsammans med BBC, 60 minuter Australien, NRK med flera. Kjetil Skogli guidade teamet i sökandet av norrsken och utan hans kunskap hade Sound of Light-projektet inte varit möjligt att genomföra.

Mark Sayfritz, kompositör och producent
Mark Sayfritz är en av musikbranschens mest produktiva kompositörer och producenter. Sayfritz har en rad prisbelönta arbeten bakom sig, bland annat tillsammans med Audi, Nike, Levi, NBA och Reebok. Marks Sayfritz roll i Sound of Light projektet bestod av att ta de ljudelement som skapades av det specialbyggda AI-systemet och komponera dessa till en symfoni. Hans kärlek och ljudkompetens visade sig vara ovärderligt för projektet.

James Shearman, dirigent och orkestrerare
James Shearman har skapat filmmusiken till bland annat Skönheten och odjuret, Manchester by the Sea, Harry Potter och Fire of Fire. James Shearmans roll som arrangör och dirigent för Sound of Light var en viktig del av den slutgiltiga visionen i att kombinera AI-experimentets tekniska karaktär och koppla den till organiska sidan av orkestervärlden.

Synchron Stage Orchestra
Synchron Stage Orchestra kom till världen genom ett handplockat urval av de bästa musikerna i de mest kända orkestrarna i Wien. Orkestern framför sina uppträdande på Synchron Stage Vienna, en inspelningsstudio som specialiserat sig på stora orkestrar och filmmusik.