​Stor variation i resultat när 70 forskargrupper analyserar samma data med samma hypoteser

Forskare gör många val vid analysen av ett dataset, vilket har stor betydelse för utfallet. Det ger forskarna stora möjligheter att medvetet eller omedvetet snedvrida resultaten för att påvisa “statistiskt signifikanta” resultat. Genom att bestämma analysstrategin på förhand och registrera den i ett öppet arkiv kan forskare kan förbättra trovärdigheten i sina resultat. Det visar en ny studie publicerad i Nature.

I vilken utsträckning kommer olika forskare till olika slutsatser när de testar samma hypoteser med samma data? I en studie som publiceras i Nature testade 70 forskargrupper inom neurovetenskap nio hypoteser på samma data, för att svara på ovan fråga. Anna Dreber och Magnus Johannesson, båda professorer i nationalekonomi vid Handelshögskolan i Stockholm, var med och initierade projektet och satt i projektets ledningsgrupp tillsammans med forskare från Dartmouth College, Stanford University, Tel Aviv University och University of Innsbruck. Gustav Nilsonne, forskare vid Karolinska Institutet, deltog som en av de 70 forskargrupper som analyserade data.

Forskarna samlade först in data från 108 deltagare som i en magnetkamera fick säga ja eller nej till att slumpmässigt vinna eller förlora pengar med olika sannolikheter. Denna mixed gambles task är ett vanligt sätt att studera beslutsfattande under ekonomisk risk. Ett sådant experiment kan tala om ifall aktivitet i ett visst område i hjärnan är korrelerad till bedömningar om att vinna eller förlora pengar. Efter en sådan datainsamling analyseras data vanligtvis av forskargruppen som samlade in dem och resultaten rapporteras sedan som statistiskt signifikanta eller inte.

I den här studien är det istället 70 olika forskargrupper, spridda över hela världen, som har analyserat data. Grupperna, varav Gustav Nilsonne är en, fick samma uppgift: att testa nio specifika hypoteser om aktivitet i olika delar av hjärnan vid beslutsfattande, rapportera ifall de hittade stöd för varje hypotes, samt beskriva hur de analyserade data. Denna studie i crowd science visar på stor variation i analysstrategier och resultat – forskargrupperna är långt ifrån överens om hur analysen ska göras och vad resultaten är. För fem av nio hypoteser rapporterar 20–40% av forskarna ett statistiskt signifikant resultat. För de andra fyra hypoteserna är det mer enhetliga resultat, men alla 70 forskargrupperna kommer inte till samma slutsats för någon av de nio hypoteserna.

Hopp om lösningar

Forskarna satte även upp så kallade prognosmarknader, där de bad de inblandade forskargrupperna samt andra forskare att satsa pengar på studiens utfall. Prognosmarknaderna visar på överoptimism där även de forskargrupper som hade analyserat data trodde att de 70 grupperna skulle finna fler statistiskt signifikanta resultat än vad som observerades.

– Studien visar att de många val forskare gör vid analysen av ett dataset har stor betydelse för utfallet, vilket ger forskare stora möjligheter att medvetet eller omedvetet snedvrida resultaten för att påvisa “statistiskt signifikanta” resultat, säger Magnus Johannesson.

– Forskare kan förbättra trovärdigheten i sina resultat genom att bestämma analysstrategin på förhand och registrera den i ett öppet arkiv. På så vis kan jag som forskare visa att jag inte har kommit fram till mitt resultat genom att utforska den stora rymden av möjliga analysstrategier tills jag fick ett resultat som jag gillade, säger Gustav Nilsonne.

– Vi forskare vill ju oftast att våra resultat ska vara generaliserbara och objektiva – här finns det alltså mycket som tyder på att det inte alltid är så. Och liknande variation i resultat skulle man nog kunna se inom många andra fält också. Men vår studie ger också hopp om lösningar och det faktum att så många forskargrupper var med på projektet tyder på att många tar de här frågorna på allvar, säger Anna Dreber.

För mer information:

Studien i Nature

Neuroimaging Analysis, Replication and Prediction Study (NARPS)

Anna Dreber

Handelshögskolan i Stockholm

Tel: 0733 48 04 38
Email: anna.dreber@hhs.se

Magnus Johannesson
Handelshögskolan i Stockholm
Tel:
Email: magnus.johannesson@hhs.se

Gustav Nilsonne
Karolinska Institutet
Tel: 0736798743
Email: gustav.nilsonne@ki.se