Missförstånd om statistik vanliga även bland erfarna forskare

Även forskare och personer med omfattande utbildning i statistik har ofta svårt att tolka statistiska resultat korrekt. Det visar en ny systematisk översikt från bland annat Uppsala universitet, där forskarna sammanställt 55 studier med över 15 000 deltagare.

Statistik är ett viktigt verktyg inom många vetenskapliga områden. Med hjälp av statistiska metoder kan forskare inte bara beskriva det som har observerats, utan också dra mer generella slutsatser. Det kan exempelvis handla om att undersöka om ett läkemedel har en effekt eller om det finns ett samband mellan luftföroreningar och människors hälsa.

Att dra slutsatser från statistiska resultat kallas statistisk inferens. Hur resultaten från statistiska analyser beskrivs och förstås påverkar vilka slutsatser som faktiskt dras. Här spelar begrepp som p-värden, statistisk signifikans och konfidensintervall en central roll.

Men hur väl förstår vi egentligen dessa begrepp?

- Vi har funnit många studier som undersökt detta på olika sätt. Det är slående att forskarna, trots att de använt olika metoder, kommit fram till så likartade slutsatser: kunskapen om vad man faktiskt kan utläsa av statistiska resultat är bristfällig och missförstånd är vanliga, säger Per Lytsy, anknuten forskare vid Institutionen för folkhälso- och vårdvetenskap, Uppsala universitet.

Missförstånd även bland statistiskt kunniga

Den systematiska översikten omfattar 55 studier publicerade mellan 1963 och 2024. De flesta studierna är enkätundersökningar där deltagarna fått tolka statistiska resultat eller ta ställning till om olika påståenden är korrekta eller felaktiga. Andra studier har undersökt hur statistiska resultat påverkar tilltron till vetenskapliga slutsatser. Bland deltagarna finns studenter, forskare, hälso- och sjukvårdspersonal, statistiker och personer som undervisar i statistik.

Ett återkommande missförstånd är att statistisk signifikans uppfattas som ett bevis för att en hypotes är sann eller att en effekt är betydelsefull. Ett läkemedel kan exempelvis ge en statistiskt signifikant förbättring utan att förbättringen har någon praktisk betydelse för patienterna.

Ett skäl till att missförstånd är så vanliga kan vara att statistiska begrepp ofta är svåra att förstå och inte alltid stämmer överens med hur vi intuitivt resonerar om sannolikheter och osäkerhet. Dessutom bygger statistiska metoder på olika teoretiska utgångspunkter och används ibland tillsammans, vilket kan göra det ännu svårare att förstå vilka slutsatser som är berättigade.

- Ett vanligt exempel är att tolka p-värdet som sannolikheten för att den hypotes vi testar är sann eller falsk. Men den slutsatsen kan man inte dra utifrån ett p-värde. Sådana feltolkningar kan leda till att vi tillskriver forskningsresultaten större säkerhet än vad det finns grund för, säger Ronnie Pingel, universitetslektor vid Statistiska institutionen, Uppsala universitet.

Viktigt för utbildning och beslut

Genom att sammanställa studier från flera decennier ger den nya översikten en bredare bild av hur utbredda och återkommande missförstånden är, även bland personer med omfattande utbildning i statistik. Forskarna hoppas att översikten ska bidra till ökad medvetenhet om statistiska feltolkningar, bättre undervisning i statistik och mer kritisk granskning av vetenskapliga resultat.

- Att kunna använda statistiska metoder är inte samma sak som att förstå vad resultaten betyder. Vår översikt visar att missförstånd är vanliga även bland erfarna forskare. Det riskerar att leda till felaktiga slutsatser och i förlängningen sämre beslut, säger Per Lytsy.

Referens: Per Lytsy, Per Johansson, Ronnie Pingel, Jenny Berg och Charlotta Ryk.
Inferences of p-values, statistically significant results, and confidence intervals – a systematic review of empirical studies. PLOS One

Vetenskaplig artikel: https://pubmed.ncbi.nlm.nih.gov/43013518/

Kontaktuppgifter

Per Lytsy, artikelns försteförfattare och anknuten forskare vid Institutionen för folkhälso- och vårdvetenskap, Uppsala universitet, per.lytsy@uu.se, tel. 070–2023258

Ronnie Pingel, medförfattare, universitetslektor vid Statistiska institutionen samt föreståndare vid Centrum för digital humaniora och samhällsvetenskap, Uppsala universitet, ronnie.pingel@statistik.uu.se, tel. 0729-99 96 04