Kunstig intelligens ser på Nasjonalmuseets samling

Nasjonalmuseet tar i bruk kunstig intelligens for å gi et nytt perspektiv på samlingen. I et eksperiment museet har utført i samarbeid med maskinlæringsspesialist Audun Mathias Øygaard og teknolog og designer Even Westvang i Bengler, analyseres de digitale bildene via bruk av nevrale nettverk og algoritmer.

Ett resultat av prosjektet er det nye brukergrensesnittet på nettsidene våre, som kan ses på vy.nasjonalmuseet.no.

Hva: Algoritmer analyserer likhetstrekk i bildene og visualiserer dette i Nasjonalmuseets nettsted. Her kan du se hele samlinger under ett, vandre rundt i nabolag i samlingene, eller zoome inn på detaljer i enkeltverk. Applikasjonen er utviklet av Nasjonalmuseet og Bengler i det Kulturrådsstøttede prosjektet Prinsipalkomponenter.

Hvorfor: For å lette det tidkrevende, Sisyfos-liknende arbeidet med å publisere mest mulig kunstfaglig kataloginformasjon, ville vi prøve ut maskinelle metoder for høsting og formidling av samlingsdata.

Hvordan: Som et utgangspunkt for å forsøke å trene opp en algoritme til å analysere bildene, tok vi i bruk et nevralt nettverk trent på ImageNet, utviklet av Autonomous Perception Research Lab ved Berkeley. Deretter re-trente vi dette på klassifiseringer av kunstretninger i bilder fra The Wikiart collection.

Vi eksperimenterte også med ulike resultater av ansiktsgjenkjenning, gjennom nevrale nettverksfunksjoner fra OpenFace. Vi analyserte komposisjon, fargebruk og stil ved hjelp av «neural style». Med dette fikk vi testet ut bildegjenkjenning innenfor rammer for figurer, ansikt, humør, alder, kjønn og typiske/utypiske verk per tiår. Algoritmen identifiserte så og markerte motiver i Nasjonalmuseets egen samling.

Nettverket ble også trent på klassifiseringer av kunstretninger, for så å legge til en visning med en t-SNE algoritme (t-distributed stochastic neighbor embedding). T-SNE algoritmen tar mangedimensjonale systemer og reduserer dem til en todimensjonal layout. Den grupperer bildene etter motivlikhet, teknikk, komposisjon og fargebruk. Videre utforsket vi visualiseringsmetodene 2d versus 3d t-SNE, «clustering» og våre nye «nabolag» av bilder, visualisert ved hjelp av et «fish-eye»-verktøy.

All verksinformasjon hentes ut fra DigitaltMuseums API. Applikasjonen oppdateres automatisk etter hvert som flere objekter fra samlingen publiseres.

Kildekoden ligger åpen og tilgjengelig på Github og kan gjenbrukes og videreutvikles av alle som har interesse av å eksperimente med maskinsyn på kulturhistoriske samlinger:

For detaljert historikk bak de tekniske løsningene og grundigere tekniske beskrivelser, se Benglers hjemmesider.

Prosjektet er støttet av Kulturrådet gjennom programmet Digital utvikling i museene.

Kontaktperson:

Gro Benedikte Pedersen
Fagkoordinator digital samlingsforvaltning
976 22 834, gro.pedersen@nasjonalmuseet.no