Programvaror för fMRI räknar fel

De statistiska metoder som används för att analysera hjärnaktivitet genom bilder tagna med magnetkameror är för dåliga. Det visar forskare vid Linköpings universitet i högt rankade tidskriften PNAS.

LiU-docenten Anders Eklund, verksam vid institutionerna för datavetenskap respektive medicinsk teknik, testade analysmetoderna genom att använda dem på kända och tillförlitliga data. Metoderna visade falsk aktivitet i hjärnan i 60 procent av fallen. En rimlig siffra är fem procent.

Analysmetoderna har tidigare bara validerats mot simulerade data, men Anders Eklund påpekade redan i sin doktorsavhandling 2012 att resultaten inte alltid är tillförlitliga. De statistiska metoder som används bygger på en mängd antaganden och är ett eller flera antaganden fel blir resultatet fel. Kritikerna inom forskarvärlden hävdade då att det visserligen kan uppstå fel om man analyserar data från en enda person, men att felen jämnar ut sig i gruppanalyser.

Anders Eklund föreslog i sin avhandling en annan metod där man gör få antaganden och istället utför betydligt flera beräkningar - tusen gånger fler - vilket ger ett betydligt säkrare resultat. Med hjälp av moderna grafikkort kan beräkningstiden hållas nere så att metoden blir praktiskt användbar.

Anders Eklund använde nu de gängse analysmetoderna och jämförde 20 friska med 20 andra friska personer. Det borde med andra ord inte ha blivit någon skillnad, eller i alla fall bara de 5 procent som slumpen består oss med. Totalt gjorde han tre miljoner jämförelser av slumpmässigt valda grupper med data från 499 friska personer.

– Skillnaderna var betydligt större än fem procent och hamnade runt 60 procent i det värsta fallet, säger Anders Eklund.

Det betyder att analyserna kan ha visat positiva resultat där det inte skulle ha varit några positiva resultat och därmed indikerat hjärnaktivitet där det inte fanns någon aktivitet.

Han har även analyserat samma dataset med sin mer beräkningstunga metod och fick då en betydligt bättre överensstämmelse, med skillnader i de förväntade fem procenten av fallen.

– Tack vare de moderna grafikkorten kan man utföra stora beräkningar. Det skulle ta 1000 gånger längre tid att göra beräkningarna i en vanlig dator, men tack vare grafikkorten fick jag ner beräkningstiden från 10 år till 20 dagar, berättar Anders Eklund.

– Har man ägnat månader åt att samla in data till stora kostnader borde man vara mer intresserad av att låta analysen ta tid så att den blir korrekt, säger han.

En amerikansk forskargrupp har också upprepat hans beräkningar. Anders Eklund, Hans Knutsson, professor vid Institutionen för medicinsk teknik, och kollegan vid University of Warwick i Storbritannien valde också att lägga ut en så kallad preprint på arXiv för att forskarvärlden skulle få möjlighet att komma med invändningar.

Men inga fel har hittats i Anders Eklunds beräkningar och nu publiceras resultatet av hans forskarmöda i den ansedda amerikansk vetenskapliga tidskriften Proceedings of the National Academy of Sciences, PNAS.

– Det känns verkligen jättebra, det är ett erkännande och jag hoppas att vi får igång en diskussion i forskarkretsar kring hur vi validerar modeller. Idag finns både tillgänglig data att validera mot och beräkningskraft nog att utföra beräkningarna.

Hur många av alla studier om gjorts med fMRI behöver göras om?

– Det går inte att svara på, en del av dem är gjorda för 10-15 år sedan och det är inte säkert att grunddata finns kvar. Det viktiga är att forskarna tänker sig för vilken metod de använder i fortsättningen, säger Anders Eklund.

Forskningen har finansierat av LiU-satsningen inom neuroekonomi, av Vetenskapsrådet och genom europeiska ITEA 3.

Artikeln:

Cluster failure: why fMRI inferences for spatial extent have inflated false positive rates., Anders Eklund, Thomas Nichols och Hans Knutsson, PNAS 2016, www.pnas.org/cgi/doi/10.1073/pnas.1602413113

Kontakt: Anders Eklund, anders.eklund@liu.se, 073 055 17 98