Sammanfattas forskningen rätt?

Svepande uttalanden om att en insats antingen ”är evidensbaserad” eller ”saknar evidens” säger föga om kunskapsläget, och ännu mindre om insatsens värde. Tvärtom kan sådana påståenden ofta bli vilseledande.
En av grunderna i evidensbaserad verksamhet är att läsa och förstå välgjorda systematiska översikter, i stället för att enbart stödja sig på enskilda studier som man har råkat hitta. Risken för missvisande resultat är betydligt mindre i ett större samlat underlag, där studierna dessutom har granskats noggrant innan resultatet har vägts ihop. Översikterna resulterar i evidens; forskningsresultaten är systematiskt sökta, relevans- och kvalitetsgranskade och sammanvägda.
Stark evidens, det vill säga hög vetenskaplig tillförlitlighet hos ett resultat, är dock inte detsamma som stor effekt. Skillnaden i effekt mellan två behandlingar kan vara allt från obetydlig till stor. Och tillförlitligheten i detta fynd, det vill säga evidensstyrkan, kan vara allt från mycket låg till hög. De sammantagna bevisen för en stor effekt kan alltså vara svaga, och evidensen kan vara stark för en liten effekt.
Helhetsbilden av en insats blir förstås mer komplicerad än så, eftersom insatser samtidigt kan ha flera gynnsamma och ogynnsamma effekter som kan vara olika stora och ha påvisats med olika grad av tillförlitlighet.

Att sammanfatta och förenkla resultatet av en systematisk översikt är därför en grannlaga uppgift. Risken för överdrifter och feltolkningar är betydande. Till exempel: Ett påstående som ”insats X är bäst” säger inte i vilket avseende, för vem, jämfört med vad, på hur lång sikt eller hur säker observationen är. ”Effekten av X är välbevisad” kan uppfattas som ”effekten är god”, fastän det inte framgår hur stor eller liten effekten är. Påståendet ”det saknas evidens för X” kan tolkas som ”X har dålig effekt” när effekten i själva verket är oviss, till exempel för att det saknas välgjorda studier och översikter. Den som bara får ett slarvigt referat riskerar att missförstå översiktens resultat.
Problemet är välkänt bland forskare. Många kämpar med att sammanfatta sina fynd på ett sätt som är både rättvisande, lättbegripligt, informativt och användbart. Men förenkling är svårt.
Riktlinjer för att sammanfatta systematiska översikter har tagits fram, exempelvis av Cochrane i flera omgångar. Det har också publicerats viss empirisk forskning på området, men studierna är fåtaliga, små och jämför sällan olika alternativa format i skilda eller blandade målgrupper.
För att beskriva tillförlitligheten i synteser av kvantitativa studier använder SBU ett internationellt utarbetat system som heter GRADE. Där bedöms bland annat hur stor risken är för systematiska fel i studierna, hur mycket studierna motsäger varandra, hur väl de överensstämmer med den fråga som ska besvaras, hur stor den statistiska osäkerheten är samt hur sannolikt det är att själva publiceringen av studier och resultat har snedvridits. Se faktaruta.
Systematiska översikter kan även gälla studier med kvalitativ ansats, till exempel när det gäller frågor om personers upplevelser, erfarenheter och värderingar. Ofta används forskningsmetoder som intervjuer och iakttagande eller deltagande observationer, och resultaten uttrycks som teman eller kategorier. När resultaten av flera sådana studier läggs ihop i en översikt används en stegvis process där fynden i enskilda studier kondenseras till övergripande teman, som kan ingå i en sammanfattning.

Tillförlitligheten i synteser av resultat av kvalitativa studier bedöms enligt ett system som kallas GRADE-CERQual. Det som bedöms är metodologiska begränsningar i studiernas upplägg och genomförande samt deras relevans för forskningsfrågan. Man granskar i vilken utsträckning som data är rikhaltiga och omfattande och hur väl dessa underbygger och förklarar syntesens fynd.
Men effektstorleken och evidensstyrkan räcker inte för att avgöra om resultatet av en systematisk översikt är betydelsefullt eller inte. Även en stor effekt som har visats med hög vetenskaplig tillförlitlighet kan sakna betydelse för dem som vården och omsorgen riktar sig till.

I likhet med de studier som ingår i sammanställningen, kan själva översikten vara mer eller mindre välgjord. Författarna kan mycket väl ha missbedömt tillförlitligheten. Och även en välgjord översikt kan ha begränsad relevans, eftersom den fråga som besvaras kan vara alltför snäv. Om fokus läggs på ett enskilt utfall, visar inte översikten det mest väsentliga för patienter och brukare, det vill säga netto-balansen mellan nytta och risker.
Välgjorda systematiska översikter är alltså ett verktyg för utvärdering, men deras slutsatser kan inte läsas som anvisningar för praxis. En enskild översikt gäller sällan både effekter och bieffekter, och innehåller sällan någon ingående analys av ekonomiska och etiska aspekter.
Värdet av en insats beror på hur den påverkar människors liv och hälsa. Det handlar om önskade och oönskade effekter av olika storlek, som har påvisats med högre eller lägre tillförlitlighet, vid jämförelse med andra alternativ, för personer med en viss typ av problem och i ett visst sammanhang.
Sammanfattningar av evidens ska förenkla det vetenskapliga kunskapsläget så mycket som möjligt – men inte mer. (RL)

Lästips

• Kerwer M, et al. How to put it plainly? Front Psychol 2021;12:771399.
• Santesso N, et al. GRADE guidelines 26: Informative statements to communicate the findings of systematic reviews... J Clin Epidemiol 2020;119:126-135.
• Pitcher N, et al. Guidance for writing a Cochrane Plain language summary. Version 1, 2021. Nerladdad februari 2022 från https://community.cochrane.org
• Murad MH, et al. Making narrative statements to describe treatment effects. J Gen Int Med 2020;36:196-9