Evidensbaserat urval – enkelt, kostnadseffektivt, sällsynt

Vad kostar en felrekrytering? Att välja rätt person är en av de utmaningar man står inför när man vill etablera en högpresterande och välfungerande personalstyrka. I över hundra år har man systematiskt undersökt olika sätt att närma sig denna utmaning och forskningsrönen tycks peka i en och samma riktning. Evidensbaserat urval är enkelt och kostnadseffektivt men ändå ganska sällsynt, varför?

I en av psykologins mest citerade studier såg Frank Schmidt och John Hunter över 85 års forskning om olika metoder för att förutsäga en persons arbetsprestation.  De kunde i och med denna översikt konstatera att ett par metoder stack ut vad det gällde att ta goda beslut om vem av ett antal kandidater man valde att anställa. Vad Schmidt och Hunter studerade benämns ofta prediktiv validitet vilket kort och gott avser hur pass stort sambandet är mellan exempelvis en urvalsmetod och arbetsprestation. Annorlunda uttryckt avser den prediktiva validiteten den precision med vilken vi kan förutsäga arbetsprestation och därigenom välja rätt person vid en nyanställning. En metod med hög prediktiv validitet är således en god metod då den hjälper oss hitta rätt person bland ett antal sökande. I tabellen ovan presenteras den prediktiva validiteten för några av de metoder Schmidt och Hunter placerade under luppen*. 

Att välja rätt för att kunna välja rätt

Tack vare studier som Schmidt och Hunters kan vi sluta oss till vilka metoder man bör använda för att samla in information att basera urvalsbeslut på för att därigenom  göra det möjligt att anställa rätt personer. Genom att välja att använda oss av en metod med hög prediktiv validitet ökar sannolikheten att vi väljer rätt person i slutändan. Som vi ser i tabellen visade sig praktiska arbetsprov ha störst samband med arbetsprestation tätt följt av generell begåvning. I sin studie gör Schmidt och Hunter dock ett väsentligt tillägg till den prediktiva validiteten. Genom att också ta hänsyn till hur pass tidskrävande, kostsam eller praktiskt genomförbar en metod är kunde man konstatera att test som mäter GMA eller generell begåvning kunde anses överlägsen övriga metoder i och med att ett begåvningstest kan administreras på drygt en halvtimma och således är att betrakta som mycket kostnadseffektiv samtidigt som man uppnår i princip samma prediktiva validitet som med ett tidskrävande arbetsprov**. Detsamma gäller begåvningstestet i relation till strukturerade intervjuer som också tenderar att ta en hel del tid i anspråk***. 

Nästa steg för författarna blev att undersöka hur man kan kombinera begåvningstest med andra metoder för att på så vis erhålla en så god kombinerad prediktiv validitet som möjligt. Tar man hänsyn till att vissa metoder i viss utsträckning mäter samma sak gäller det att hitta kombinationer av metoder som samvarierar med varandra i så låg utsträckning som möjligt samtidigt som de samvarierar med arbetsprestation i så hög utsträckning som möjligt. Sådana analyser visade att kombinationer av begåvningstest och personlighetstest eller begåvningstest och strukturerade intervjuer var gynnsamma tillvägagångssätt.

Korrekt tolkning av information lika viktigt som korrekt information

Sen Schmidt och Hunter (1998) har urvalsmetoder fortsatt att vara ett hett ämne i det psykologiska forskningsfältet. Flertalet senare metaanalyser har summerat hundratals studier i ämnet vilket har resulterat i en växande evidensbas. Få resultat pekar dock i annan riktning än vad Schmidt och Hunter visade. Kanske är urval därför det område inom de psykologiska forskningsramarna där evidensen står sig starkast.  

Den samlade forskningsbilden visar bland annat att tillämpningen av metoder och inte bara metoderna i sig är avgörande för vilket utfall vi kan vänta oss. Intervjuer, begåvningstest och personlighetstest är vanliga inslag i urvalssammanhang men hur informationen från dessa tolkas och används gör att resultaten kan variera kraftigt. En kort tillbakablick i tabellen visar att sambanden är relativt enkla att tillämpa i praktiskt urvalsarbete. Ju högre resultat på ett begåvningstest eller målmedvetenhetsskalan på ett personlighetstest, desto större sannolikhet att kandidaten i fråga lyckas i arbetet. Trots detta är det långt ifrån alltid informationen i ett urvalssammanhang tillämpas på ett sådant sätt. Istället förekommer allehanda personbeskrivningar och intuitiva sammanvägningar för att ”fånga hela personen” som det så ofta heter. Sådana förfaringssätt tenderar att få kraftiga konsekvenser för urvalsbeslutet och den prediktiva validitet som studier likt Schmidt och Hunters påvisat upphör plötsligt att gälla. 

Detta blir viktigt att ha i åtanke, i synnerhet när flera metoder används och informationen som dessa genererar skall vägas samman. Utfallet blir då fullt beroende av hur denna sammanvägning görs. Antingen sker denna sammanvägning enligt vetenskapligt etablerade principer vilket innebär att man utifrån resultat från exempelvis Schmidt och Hunters studie gör en mekanisk sammanvägning av resultat från olika urvalsmetoder och låter de metoder med högst prediktiva validitet väga tyngre än de med lägre prediktiva validitet. Detta kan vi kort och gott kalla en mekanisk tolkningsmodell. Alternativet är vad vi kallar en holistisk eller intuitiv tolkningsmodell där man subjektivt väger samman information från de tillgängliga informationskällor som finns och gör en helhetsbedömning av varje kandidat vilken sen ligger till grund för vilken kandidat man väljer att anställa. I en metastudie (Grove m fl, 2000) kunde man konstatera att ett mekaniskt tillvägagångsätt tydligt var att föredra, inte bara vid anställningsurval utan i princip vid alla former av psykologiska beslut. 

Hur ser det ut i praktiken då?

Trots den mekaniska urvalsmodellens bevisade överlägsenhet tenderar det holistiska/intuitiva arbetssättet att dominera i många urvalssammanhang. Förekomsten av holistiska bedömningar kan i viss mån förklaras av det flitigt förekommande arbetet med så kallade kompetensmodeller. Kompetensmodeller innebär i regel att man (subjektivt) identifierar ett antal centrala ”kompetenser” som man antar är avgörande för att lyckas i det specifika arbetet. Därefter försöker man koppla intervjusvar och resultat från exempelvis personlighetstest till dessa kompetenser för att göra en bedömning av hur väl respektive kandidat uppfyller kravprofilen. Urvalsmodellen fylls på så vis med ett stort mått subjektivitet och man missar att låta de metoder som har hög prediktiv validitet väga tyngre i beslutsunderlaget. Inte ovanligt är till och med att kompetensmodellen vilseleder en att prioritera kandidater med lägre testresultat då man bedömer att höga resultat på exempelvis en personlighetsvariabel rimmar dåligt med de identifierade kompetenserna.**** Detta innebär att hur man än väljer att mäta hur väl kandidaterna uppvisar dessa kompetenser (med intervjuer, personlighetstest, Assessment Center, etc.) är möjligheten att identifiera den mest lämpade kandidaten kraftigt begränsad av att man inte lyckats identifiera de egenskaper eller kompetenser som faktiskt har betydelse för arbetsprestationen. Huruvida de identifierade kompetenserna ens låter sig mätas på ett tillförlitligt sätt kan också diskuteras. 

Även om arbetet med kompetensmodellering inte alltid sker i formaliserad form är det i praktiken mer eller mindre en form av kompetensmodellering som genomförs. Inte helt ovanligt är att man genererar omfattande personbeskrivningar utifrån personlighetstest och intervjuer. Dessa beskrivningar är ofta mycket spännande och tillsynes djuplodande men när man tittar närmar på just personlighetstestning och intervjuer är samstämmigheten mellan bedömarens och andras uppfattning av kandidaten betydligt lägre än vad man kan tro, vilket gör att de personbeskrivningar som genereras bör ses som teoretiska snarare än empiriska. Det är inte heller ovanligt att man godtyckligt lyfter fram vissa egenskaper som i synnerhet relevanta utan empiriska belägg och att man därför väljer den kandidat som utifrån dessa beskrivningar tycks ha dessa egenskaper. Resultatet blir ofta en felaktig viktning av olika egenskaper sett till hur de bör vägas samman för maximal prediktiv validitet.  Vid sådan tillämpning tenderar man också att göra samma misstag som vid formaliserat arbete med kompetensmodellering. 

Förklaringarna till att kompetensmodeller och personbeskrivningar används så frekvent i urvalssammanhang är säkerligen många. En förklaring kan vara det vi kallar face validity vilket kort innebär i vilken utsträckning något framstår som eller verkar korrekt, bra eller funktionellt. Metoder som kompetensmodellering och ostrukturerade intervjuer har en hög face validity men låg prediktiv validitet. Vad detta i praktiken innebär är helt enkelt att dessa metoder verkar bra men är mindre bra med förklaringen att de lämnar allt för stort utrymme åt magkänsla, intuition och annan form av subjektivitet. Goda urvalsmetoder bygger på att den information som samlas in är så objektiv som möjlighet. 

Så hur bör man göra istället då?

Om man väljer att göra evidensbaserade urval gör man sig själv en stor tjänst. Inte bara ökar man sannolikheten till ett önskat utfall utan man gör också själva urvalsarbetet enklare, effektivare och mer transperant. Själva urvalsprocessen kan kraftigt förkortas om man slutar att ägna tid åt kompetensmodellering och många långa intervjuer. Här följer ett antal punkter att hålla sig till. Följer du, eller konsulten du anlitar, dessa punkter gör ni evidensbaserade urval: 

1)     Lägg undan allt vad kompetensmodeller heter. Kräver tjänsten en kravprofil skall denna endast innehålla formella meriter såsom nödvändig utbildning.

2)     Försäkra dig om att de psykologiska testverktyg som du eller konsulten använder håller hög kvalitet. En sådan bedömning kan vara svår att göra utan viss grundkunskap om psykometri men be testleverantören att förse dig med testverktygens psykometriska egenskaper och ta hjälp att bedöma testets kvalitet om du inte känner att du besitter de rätta kunskaperna.

3)     Skapa en förutbestämd urvalsmodell där den information du samlar in om dina kandidater viktas ihop på ett mekaniskt vis. Denna urvalmodell är ofta en enkel beräkning av en lämplighetspoäng för varje kandidat. Lämplighetspoängen beräknas utifrån vad forskning visar om olika metoders prediktiva validitet – exempelvis 2 x begåvning + 1 x personlighet.

4)     Genomför tester och eventuell intervju med samtliga kandidater som sökt tjänsten och beräkna en lämplighetspoäng för varje kandidat.

5)     Välj den kandidat som har högst lämplighetspoäng.  

Kommentarer

* Av pedagogiska skäl har några av de metoder som Schmidt och Hunter studerade utelämnats i tabellen då de varken uppvisar särskilt god prediktiv validitet eller tillämpas i nämnvärd utsträckning.

** Senare studier (Schmidt, m fl, 2008) har dessutom visat att arbetets komplexitet har stor betydelse för begåvningstestets prediktiva validitet. Vid mycket komplexa arbeten är begåvningens prediktiva validitet markant högre än vad som redovisas i Schmidt & Hunter (1998)

*** Man bör ha i åtanke att de intervjuer som ofta kallas strukturerade vid anställningsintervjuer inte är att jämföra med det man i vetenskapliga studier kallar strukturerade intervjuer. Den prediktiva validiteten i många av de anställningsintervjuer som genomförs är därför sannolikt lägre än den prediktiva validitet som redovisas i Schmidt och Hunter (1998). Se exempelvis Cortina och Goldstein (2000) för ett förtydligande.

**** Att kompetensmodeller sällan ger önskad effekt kan härledas till att inte ens experter kan enas om vilka kompetenser som egentligen är väsentliga i det enskilda arbetet. (Lievens m fl, 2010) 

Referenser

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274. 

Schmidt, F. L., Schaffer, J. A. & Oh, I. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personnel Psychology, 61, 827–868. 

Cortina, J., & Goldstein, N. (2000). The incremental validity of interview scores over and above cognitive ability and conscientiousness scores. Personnel Psychology,20, 325-351. 

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E. & Nelson, C (2000) Clinical Versus Mechanical Prediction: A Meta-Analysis. Psychological Assessment, Vol. 12, No. 1, 19-30.

Lievens, F., Sanchez, J.I., Bartram, D., & Brown, A. (2010). Lack of consensus among competency ratings of the same occupation: Noise or substance. Journal of Applied Psychology, 95, 3. 562-571.

Av Christopher Svensson