Statistisk säkerhet - svårt, viktigt men inte en fråga om absolut sanning

Låga kunskaper om betydelsen av statistisk säkerhet

Journalister och andra debattörer efterfrågar ofta något man kallar för ”statistiskt säkerställda resultat”. Det tycks också råda något slags tyst samförstånd om innebörden av begreppet. Men om man skulle fråga vad som egentligen avses så kommer svaren att variera, helt enkelt därför att många inte vet och för att utgångspunkten är felaktig. Om vi talar om urvalsundersökningar bland allmänheten så finns inga statistiskt säkerställda resultat eller undersökningar. Det vi har att förhålla oss till är olika grader av osäkerhet och ingenting annat. Det som kan benämnas statistiskt säkert är antingen att en förändring har skett, eller att en nivå med säkerhet skiljer sig från en annan, exempelvis att ett parti har större stöd än ett annat. Däremot kan inte någon fastslå en absolut nivå. Den statistiska säkerheten handlar istället om att nivån ligger mellan X och Y procent.

Vad betyder statistiskt säkert?

Det är viktigt att förstå att statistisk säkerhet enbart behandlar problemet med grad av otur som det slumpmässiga urvalet kan ge upphov till utifrån ett givet antal intervjuer.

Hur säkert är då ”statistiskt säkert”? I sammanhanget finns en norm som utgår från att i princip all statistisk bevisföring bottnar i 95-procentig säkerhet. Det kan förstås i vissa sammanhang vara en hög grad av säkerhet, medan de i andra inte alls är tillräckligt säkert, exempelvis vid medicinsk forskning.
95-procentig säkerhet är alltså vedertagen praxis, snarare än en vattendelare mellan det som är absolut sant kontra falskt. Även inom området för samhällsundersökningar så finns förstås ett varierande behov av säkerhet. Kraven är störst när det gäller stödet för de enskilda partierna, men om vi istället vill ha indikationer om hur stor del av befolkningen som står bakom exempelvis ett politiskt förslag så är det troligt att behovet av pricksäkerhet är mindre.

En fundamentalistisk syn på statistisk säkerhet försvårar analysen

Det råder delade meningar om huruvida förändringar, som inte är statistiskt säkerställda ska kommenteras överhuvudtaget. De som håller på den principen gördet visserligen på goda principiella grunder, men samtidigt kan påpekas att även relativt stora förändringar, som inte är säkra, kan vara av intresse. De kan bekräfta en mer långtgående trend, ge indikationer om riktningen, det kan vara av intresse att påtala extremvärden, exempelvis lägsta stödet någonsin.
För resonemangets skull kan sägas att även om en förändring endast är 90-procentigt säker, så är det förstås uppenbart mer troligt att den skett än att så inte är fallet. Det sistnämnda argumentet är dock enbart pragmatiskt och har inget stöd i ett mer akademiskt perspektiv. Statistiska fundamentalister
kan t o m förväntas bli upprörda över en diskussion om annan säkerhetsnivå än den normen påbjuder. Så - låt oss inte försöka introducera en annan måttskala för säkerhet, men väl bringa lite ordning i resonemangen.

Om vi leker med tanken att endast det statistiskt signifikanta är värt att notera, så närmar vi oss snabbt en situation då signalsystemen och de snabba indikationerna helt upphör att fungera. Anta att vi genomför 1 000 intervjuer och istället för att påstå att ett parti har stöd av 6,1 procent av väljarna anger att stödet ligger mellan 4,6 och 7,6 procent. Är det information som av någon skulle uppfattas som intressant? Nej, knappast, och det sättet att hantera statistiken kommer också tolkas som att vilket värde som helst mellan 4,5 och 7,6 procent är lika troligt. Det är viktigt att förstå att det är en
komplett felaktig slutsats. Det är snarare så att det uppmätta värdet är avsevärt mer sannolikt än de värden som befinner sig ytterst i intervallet. Att däremot på decimalen pricka rätt är förstås en extremt svår uppgift.

Om vi tar exemplet med ett parti som når 3,7 procents stöd i en opinionsmätning, alltså under fyraprocentsspärren. Är det intressant och värt att kommentera? Ja, självfallet, trots att nivån inte skulle vara statiskt säker under spärren ens vid 5 000 intervjuer. Just fyraprocentsspärren är förstås av särskilt stort intresse på grund av den symboliska betydelsen. Värden under den nivån är därför självklara att belysa, inte för att man vet att det är exakt korrekt, utan för att det indikerar att partiet har tydliga problem i opinionen och riskerar att tappa sin riksdagsstatus.

För ordningens skull ska förstås ändå sägas att inte är ovanligt att media drar alltför stora växlar på skillnader mellan partier, precisionen i uppmätta värden eller förändringar över tiden. Att kommentera utfall kräver alltså omdöme, men genom att alltid tydliggöra vad som är statiskt säkerställt så kan
läsaren också göra sin egen bedömning.

Pricksäkerheten i undersökningarna är god

Frågan om man kan lita på opinionsundersökningar är relevant och ständigt återkommande. Examen för alla opinionsinstitut är som regel valdagen. Då utvärderas huruvida vi gjort rätt eller fel. Väljarbarometrar görs inte i avsikt att prognostisera valutgången, utan snarare för att belysa det aktuella opinionsläget. I samband med valet är situationen annorlunda, då försöker vi pricka valutgången. Med tanke på den rörliga opinionen så sker förändringar med mycket kort varsel, inte minst i den intensiva slutspurten inför valet. Uppgiften är alltså mycket svår. Detta till trots så lyckades flertalet opinionsinstitut mycket väl i valet 2010. För telefonbaserade väljarbarometrar var den genomsnittliga avvikelsen per parti 0,76 procentenheter. Demoskops avvikelse var 0,72 procent. För de webbaserade mätningarna var avvikelsen större, men även de kom relativt nära utfallet.

Statistisk säkerhet bara en av många svårigheter

Pragmatiskt sett så förefaller just statistisk säkerhet alltså inte vara ett avgörande problem för att göra undersökningar som speglar verkligheten. Därtill ska beaktas att det långt ifrån är den enda svårigheten. Problematiken handlar även om urvalsförutsättningar, bortfall, vägningar, frågeformuleringar, skillnader mellan vad människor säger och hur man agerar. Utifrån detta kan sägas att svenska opinionsmätningar väl håller måttet.