Går det att lita på samhällsvetenskapliga studier publicerade i Nature och Science?

I en ny internationell studie visar forskare från bland annat Handelshögskolan i Stockholm att det är svårt att återupprepa många samhällsvetenskapliga forskningsresultat som publicerats i de ledande vetenskapliga tidskrifterna Nature och Science. Resultaten visar på betydelsen av att förbättra vetenskapliga rutiner och metoder för att öka forskningens trovärdighet. Studien publiceras idag i den vetenskapliga tidskriften Nature Human Behaviour.

I studien återupprepas 21 experimentella studier inom samhällsvetenskap publicerade i Nature och Science, två av världens mest prestigefyllda vetenskapliga tidskrifter. För 13 av de 21 studierna hittades stöd för de ursprungliga resultaten men med i genomsnitt mindre effekter, medan inget stöd för de ursprungliga resultaten hittades i de övriga 8 studierna. I genomsnitt var effekterna i de upprepade studierna hälften så stora som i originalstudierna. Studien är ett stort internationellt samarbete där replikationerna genomförts av fem olika forskargrupper

– Resultaten visar att "statistiskt signifikanta" vetenskapliga resultat måste tolkas mycket försiktigt tills de har replikerats, även om de har publicerats i de mest prestigefyllda tidskrifterna, säger Magnus Johannesson från Handelshögskolan i Stockholm som är en av studiens projektledare.

Som en del av studien genomfördes också så kallade prognosmarknader där andra forskare kunde slå vad om de 21 studierna skulle replikera eller inte. Detta är ett sätt att mäta i vilken grad forskare kan förutspå trovärdigheten av olika forskningsresultat. Det visade sig att forskarna i hög grad kunde förutspå vilka resultat som skulle gå att återupprepa.

– Att använda prognosmarknader eller andra verktyg för att aggregera vilka sannolikheter forskare tillskriver olika resultat kan vara ett sätt för forskarvärlden att använda resurser mer effektivt och sortera ut vilka vetenskapliga resultat som har hög respektive låg trovärdighet, säger Anna Dreber Almenberg, professor vid Handelshögskolan i Stockholm.

Följande forskare från Handelshögskolan i Stockholm har deltagit i studien:

Anna Dreber, Professor, Nationalekonomiska institutionen
Magnus Johannesson, Professor, Nationalekonomiska institutionen
Adam Altmejd, doktorand, Nationalekonomiska institutionen
Emma Heikensten, doktorand, Nationalekonomiska institutionen
Siri Isaksson, doktorand, Nationalekonomiska institutionen

En omfattande informationssida för SSRP-projektet, inklusive kontakter, relevanta artiklar och kompletterande material finns här: https://cos.io/our-services/research/ssrp-overview/

För mer information, kontakta gärna:

Anna Dreber, anna.dreber@hhs.se, 08-7369646

Magnus Johannesson, magnus.johannesson@hhs.se, 08-7369443