Analysen liknar viskningsleken

Forskaren Tom Andersson om tidskriften bakom rapportattacken mot Aftonbladet Kultur

Detta är en kulturartikel som är en del av Aftonbladets opinionsjournalistik.

Publicerad 2017-01-19

DEBATT. Två forskare har publicerat en artikel om rysk desinformation i en tidskrift för försvarsforskning. Svenska medier har pekats ut som källor till desinformation. I sammanhanget förbises lätt det grundläggande problemet, att även forskningstidskrifter måste granskas.

Erik Lindenius och Jesper Enbom, medieforskare på Umeå universitet, har i en närmare två timmar lång podcast, Mediespanarna, presenterat en granskning av den akademiska kvaliteten i den uppmärksammade forskningsartikeln om rysk desinformation. Efter en detaljrik genomgång sammanfattar de sin hårda dom: ”Bristerna i rapporten är så gigantiska att det går att segla ett ryskt hangarfartyg genom den”.

Med tanke på bristerna måste frågan ställas hur artikeln kunde bli publicerad. Utan den vetenskapliga kvalitetsstämpeln som följer av så kallad vetenskaplig publicering är det tveksamt om den hade fått den spridning som den fick. En inte helt orimlig arbetshypotes är att kvalitetskrav fick stryka på foten när försvarspolitiska intressen stod på spel.

Tidskriften i fråga, Journal of Strategic Studies, har funnits sedan 1978. Dess redaktionsråd omfattar 44 personer varav 23 finns i USA, 13 i Storbritannien, 2 i Israel, och 1 i Singapore, Tyskland, Norge, Schweiz, Kanada respektive Australien. Alla redaktörer hör alltså hemma i Nato-länder eller i allierade länder. Det speglar en risk för bias i bedömningar. I det aktuella fallet finns det också skäl att tro att så är fallet.

Författarna till artikeln, Martin Kragh och Sebastian Åsberg vid Utrikespolitiska institutet (UI), uppger att de tillämpar två forskningsmetoder, ”kvantitativ innehållsanalys” respektive ”deskriptiv analys”. Den första metoden är välkänd och vanlig i samhällsvetenskap, i synnerhet medieforskning. Den är mindre beprövad i försvarsforskning.

I tidskriftens e-arkiv finns det totalt 1 627 artiklar listade. Av dessa är det bara den aktuella artikeln som nämner metoden. Ytterligare fem artiklar nämner en friare version av innehållsanalys. Vidare, så vitt jag kan se i tidskriftsdatabaser, är det första gången som artikelförfattarna tillämpar denna metod. Att döma av publikationslistor har inte heller chefredaktörerna för tidskriften någon närmare erfarenhet av metoden.

Det är en indikation på att tidskriftens redaktörer och granskare har bedömt en forskningsartikel som bygger på en metod som de inte har kompetens att bedöma. Kanske bedömer de liksom många andra den egna kompetensen som högre än vad den är, varför artikeln passerar trots stora brister.

Lika illa är det med den andra metoden, ”deskriptiv analys”. I tidskriften omnämns ”deskriptiv analys” i två andra artiklar, men som forskningsmetod är det en öppen fråga. Termen kan syfta på allt från beskrivande statistik till dataformatering. Författarna omnämner metoden för att skapa intryck av ett strukturerat arbete och akademisk stringens, men i brist på närmare metodredovisning påminner analysen mer om viskningsleken än något annat.

Sammanfattningsvis finns det skäl att tro att tidskriften i fråga inte har haft kompetens och intresse att granska artikeln ordentligt, men väl ett försvarspolitiskt intresse att ge artikeln en vetenskaplig stämpel lagom till konferensen Folk och försvar. Av det drar jag två slutsatser.

Utrikespolitiska institutets chef, Mats Karlsson, framhåller precis som Martin Kragh själv, att artikeln bygger på oberoende forskning. I så fall är det dags att redovisa innehållet i peer-review-processen samt finansieringskällor och former. Det är en förutsättning för källkritik för alla parter, journalister och forskare.

Vidare, det är inget nytt att forskningstidskrifter gör misstag. Inte heller att professionella kontakter, politiska intressen och ideologi kan påverka vetenskapliga granskningar och publiceringar. Mer sällan är det någon som granskar granskarna i forskningstidskrifter, något som är nödvändigt för kvalitetssäkring. Bias och fusk ställer tilliten och förtroendet på spel för alla parter.

Frågan hur det ska göras överlämnar jag ytterst till forskarsamhället, men jag tillåter mig att komma med förslag. Låt journalister och nyhetsmedier ta del av granskningarna vid förfrågan, utan att röja källor. Blotta vetskapen om att granskningarna kan offentliggöras till sitt innehåll lär minska risken för både misstag och fusk.

Tom Andersson

Tom Andersson är tidigare senior analytiker på Myndigheten för samhällsskydd och beredskap.
Han är fil dr kognitionsforskning, Fil lic matematisk statistik, Fil kand fysik, Fil kand språkvetenskap och socialantropologi.