För någon månad sedan publicerade en grupp forskare från Karolinska institutet en så kallad ”narrative review” (NR, fr.o.m. nu) som handlade om filtreringseffektiviteten hos olika typer av munskydd (1). Den fick mycket uppmärksamhet, exempelvis på Marcus Oscarssons facebooksida, och nämndes på en av Folkhälsomyndighetens presskonferenser.

Forskningsledarens egen bedömning var att vi nu har mer än tillräcklig evidens för att rekommendera munskydd, särskilt med tanke på hur svårkontrollerad pandemin är. Jag skummade artikeln och fann den intressant, för jag följer munskyddsdiskussionen väldigt nära och försöker hålla mig så uppdaterad jag kan om både mekanismstudier och epidemiologiska studier. Men trots att den var intressant och värdefull för mig som intresserad lekman var det något som skavde.

Det är nämligen så att en NR alltid – oavsett om det handlar om nutrition, träningsstudier eller infektionssjukdomar – har ett lågt evidensvärde. Frågar du mig så fyller dessa definitivt en funktion, och kanske särskilt när kunskapsläget behöver organiseras snabbt (som under nuvarande pandemi). Men en NR är primärt att betrakta som en sorts berättelse (ett narrativ, helt enkelt) om ett fält, berättat från ett specifikt forskarperspektiv.

För mig är en NR som en sorts kvalitativ undersökning av ett forskningsfält, i bemärkelsen av att det snarare handlar om en sorts tolkande analys av ett material där man tematiserar forskningsområdet och diskuterar det. Utifrån detta kan andra forskare sedan ta sig vidare och formulera hypoteser som kan testas. Men precis som med kvalitativa studier har man inte samlat in sitt material på ett tillräckligt systematiserat och standardiserat sätt för att dra ”hårda” slutsatser (dvs. beräknad effekt eller uppskattning av evidensstyrka för ett givet orsakssamband).

Jag upprepar det här med att en NR kommer från ett specifikt forskarperspektiv. För blir du hyfsat insatt i ett fält kommer du ganska snabbt märka att forskare – lo and behold – tenderar att vrida till det så att slutsatsen ligger i linje med deras egen uppfattning. Jag säger inte att de nödvändigtvis fuskar eller aktivt missleder, tvärtom tror jag att det är ovanligt, men de har utan tvivel bias.

Att NR har stora personrelaterade bias är mest något som ”alla vet”, men som kan vara lite svårt att visa svart på vitt. Därför gladde det mig att se ett försök att verkligen testa detta, och eftersom forskningsområdet man valde att fokusera på – kostens (eventuella) effekter på depression – ligger inom ramen för vad vi skriver om på Träningslära så tänkte jag fördjupa mig lite i den. Men först lite terminologi!

Alla dessa reviews!

Systematiska översiktsartiklar (systematic reviews)

En systematisk review (SR) är en översiktsartikel där man utifrån på förhand givna kriterier söker brett i olika databaser och väljer ut alla som passar. Praxis är att minst två forskare gör detta oberoende av varandra, varpå de når konsensus om artiklar som de bedömt olika. Det är naturligtvis inget vattentätt system – men det finns i alla fall ett försök till standardiserad systematik och motarbetande av bias genom de olika forskarnas oberoende sållning.

När sållningen väl är gjord gör man i regel en kvalitetsutvärdering av artikel för artikel följt av en slutgiltig evidensgradering för en given frågeställning. Alltså: (1) bred sökning i olika databaser, oftast med hjälp av en bibliotekarie, följt av (2) minst två forskares oberoende screening för alla artiklar som stämmer in på de förutbestämda kriterierna, (3) kvalitetsbedömning av varje enskild artikel och (4) evidensgradering av den vetenskapliga frågeställningen. För en bra genomgång av hur Statens beredning för medicinsk utvärdering (SBU) gör, se länk.

Meta-analyser

En meta-analys är, som namnet kanske skvallrar om, en analys av analyser. Oftast föregås denna av samma procedur som för en SR, nämligen en noggrann screening som leder fram till att ett antal artiklar slutligen tas i beaktande.

Till skillnad från en SR görs dock ingen kvalitativ evidensgradering utan en beräkning av sammanställd effekt. Säg att du har tio kvantitativa resultat från studier med allt från 20 till 2000 deltagare. Då ges först större ”vikt” åt de med minst standardfel, vilket är beroende av deltagarantalet, och så beräknas en genomsnittlig effekt ut (se länk för mer info från SBU).

Vad som är viktigt att veta är att en meta-analys aldrig kan ge ett trovärdigare resultat än vad kvaliteten i de ingående studierna tillåter – skit in ger skit ut, som man brukar säga – men jämfört med en enskild studies resultat är det ofta så att meta-analysens resultat är starkare. (Ett undantag kan exempelvis vara när en meta-analys av flera svaga studier ger ett resultat som sedan inte replikeras av en studie som har mycket hög kvalitet.)

Narrative reviews – en forskare säger vad vederbörande tror och tycker om en fråga

En NR, som kort och gott bara kallas ”review” ibland, är som sagt en mindre systematisk form av översikt. Den kan göras på många sätt. Ibland är det en forskare som i princip bara redogör för vad hen kan och tycker. En sådan skall du aldrig betrakta som mer än en partsinlaga. Men de kan förstås göras bättre. Den uppmärksammade artikeln från KI hade exempelvis en väldigt stor grupp av forskare och man skriver att även om den inte var systematisk så tog man varje artikel man fann i beaktande, oavsett resultat (dvs. ingen cherry-picking av resultat i linje med deras favorithypoteser).

Jag har ingen anledning att betvivla KI-forskarnas uppsåt eller seriositeten i arbetet, men det ligger trots allt i metodens natur att frihetsgraden för bias är högre än för en SR. Vi får heller ingen kvalitetsbedömning, någon evidensgradering eller, som med meta-analys, någon beräkning av sammantagen effekt.

Scoping reviews – en snabb överblick av ett lite större forskningsområde

En till form av review som dykt upp under 2000-talet skall också nämnas här, även om den inte togs med i artikeln om kost och depression som vi snart kommer in på. Den här metoden kallas ”scoping review”. En sådan review följer i allmänhet samma systematik som en SR för att screena artiklar, men syftet är inte att avgöra evidensen för en snäv forskningsfråga utan att kartlägga ett stort fält. Därav ”scoping” från ”scope” (räckvidd, omfattning etc.).

Ibland tar sådana även in ”grå” litteratur, vilket kan vara pre-prints och konferenspapers, men även rapporter från myndigheter eller företag till exempel. Man kan även lyfta in utlåtanden och synpunkter från nyckelpersoner. Jag är själv involverade i en sådan just nu, och vi har bara tagit in vetenskapligt publicerad litteratur. Det är min uppfattning att detta är det vanligaste. Sammantaget kan du alltså se en scoping review som en systematisk metod, men med syfte att kartlägga vad som gjorts och vad som saknas, snarare än att avgöra evidens.

Kost och depression – vad säger narrativa reviews jämfört med systematiska reviews och meta-analyser?

Låt oss nu gå vidare. En nyligen uppladdad pre-print har alltså utvärderat NR, SR och meta-analyser om kopplingen mellan kost och depression – ”Diets Against Depression: Strong Conclusions, Weak Evidence: A Systematic Review” (2). Notera att en pre-print innebär uppladdning av en artikel som ännu inte publicerats efter referentgranskning (peer review).  Vissa saker kan alltså komma att ändras (se min notis längst ned för varför jag ändå publicerat den här texten).

Man följde procedurerna som är praxis för SR, vilka formaliserats i något som kallas ”Preferred Reporting Items for Systematic Reviews and Meta-Analyses” (PRISMA). I korthet: Först sökte man systematiskt i ett antal databaser på en given uppsättning sökord, plus att man genom artiklar sökte sig vidare i referenslistor om man där upptäckte en relevant artikel som missats. Inklusionkriterierna var (i) peer-review-granskade NR, olika typer av expertutlåtanden (t.ex. något som brukar kallas ”Perspectives”), SR och meta-analyser kring effekterna av kost (kostmönster eller enskilda livsmedelsgrupper) vid depression eller depressiva symtom.

Dessutom skulle artiklarna (ii) vara författade på ett engelska, tyska, nederländska, spanska eller franska. Detta motiveras inte men handlar förstås om att det är språk som någon i författarteamet själv kan läsa tillräckligt bra för att kunna bedöma.

Två oberoende forskare screenade därefter abstracts och titlar varpå relevanta artiklar beställdes i fulltext. Dessa granskades också, på samma oberoende vis, för inklusion. Om forskarna hade olika uppfattningar så kom man överens efter överläggning sinsemellan.

Från varje inkluderad artikel plockade man sedan ut information om i) publiceringsdatum, ii) antalet inkluderade studier i respektive artikel, iii) huruvida det var en NR, SR eller meta-analys, iv) forskarnas slutsatser och rekommendationer, v) effektstorlekar från meta-analyser (inklusive konfidensintervall), vi) finansieringskällor, vii) antalet inkluderade artiklar, viii) indikatorer på vetenskaplig ”impact” (antal citeringar, tidskriftens impact factor m.m.), ix) om författarna rapporterade finansiering från livsmedelsindustrin eller andra branschintressenter (typ motsvarigheter till LRF i Sverige) och x) om författarna haft vad man kallar ”allegience bias”.

Med ”allegience bias” avsåg man bias som härrör ur en koppling till någon form av organisation med tydlig ståndpunkt i frågan. En ”lojalitetsfelkälla” kanske man kan översätta det till. I praktiken handlade det här om medlemskap i International Society for Nutritional Psychiatry Research (ISNPR), en organisation som uttryckt starka slutsatser om hur kost både kan skydda mot depression och fungera i klinisk behandling. Såhär har man bland annat skrivit i sammanfattningen av en så kallad ”Personal view”-artikel – det vill säga en ren åsiktstext –  publicerad i The Lancet Psychiatry (3):

Although the determinants of mental health are complex, the emerging and compelling evidence for nutrition as a crucial factor in the high prevalence and incidence of mental disorders suggests that diet is as important to psychiatry as it is to cardiology, endocrinology, and gastroenterology. Evidence is steadily growing for the relation between dietary quality (and potential nutritional deficiencies) and mental health, and for the select use of nutrient-based supplements to address deficiencies, or as monotherapies or augmentation therapies.

Resultat

Sökningen plus tillägg från referenslistor gav först 1696 artiklar. Efter screening av titlar och abstrakt var det 65 artiklar kvar, och av dessa sållades ytterligare 24 bort av olika orsaker. Det kanske kan låta konstigt, men det blir så när man först inkluderat utifrån att abstrakt och titel där alla kriterier uppfyllts, men därefter noterar i fullängdsartikeln att informationen inte är tillräcklig. I det här fallet handlade det exempelvis om avsaknad av kostexponering eller depressionsutfall.

Kvar var då 41 artiklar, varav 19 NR, 10 SR och 12 meta-analyser. Dessa har skärskådats på lite olika vis, så jag delar upp det utifrån (i) undersökningen av skillnader i slutsatser och rekommendationer (inklusive hur detta relaterade till ISNPR-medlemskap) och (ii) kvalitetsbedömningen av de ingående studierna, evidensgraderingen och resultatet från forskarnas egen meta-analys.

Olika slutsatser och rekommendationer

Av de 41 ingående artiklarna fann man att samtliga innehöll någon form av slutsats och 19 gav direkta rekommendationer. De här slutsatserna och rekommendationerna kodades av forskarna (oberoende av varandra) som starka, återhållsamma (”moderate”) och svaga. Resultatet ser ni i tabellen under (det är tabellerna 2 och 3 i artikeln som jag bara modifierat lite och översatt).

För det första innehöll en genomsnittlig NR 45.5 procent färre artiklar, jämfört med SR och meta-analyser. Trots det var det, som ni kan se i tabellen, betydligt vanligare för en NR att ge en stark rekommendation än en SR eller meta-analys.

Styrka i slutsatser och rekommendationer utifrån studietyp.
 SlutsatsRekommendation
 NRSRMeta-analysNRSRMeta-analys
Stark8 (42.1%)2 (20%)0 (0%)8 (42.1%)1 (10%)1 (8.3%)
Återhållsam9 (47.4%)3 (30%)6 (50%)4 (21.1%)2 (20%)2 (16.7%)
Svag2 (10.5%)5 (50%)6 (50%)1 (5.3%)0 (0%)0 (0%)
Ingen6 (31.6)7 (70%)9 (75%)

Ni kan också se att man är mer liberal med att ge rekommendationer baserat på en NR. Det är lite mer än två tredjedelar som rekommenderar något, jämfört med cirka 30 och 25 procent för SR respektive meta-analys. Forskarna försökte räkna på det här men fann ingen statistiskt signifikant skillnad när de bara tittarna på rekommendationer. Skillnaden blev dock signifikant när även artiklar utan rekommendation inkluderades i analysen.

Oavsett vilket är jag dock personligen ganska ointresserad av den statistiska analysen i det här fallet. Det är totalt sett väldigt få observationer och därför blir det väldigt skakigt. Jag är nöjd med den rent deskriptiva informationen som jag får från tabellen. Jag misstänker även att det här är detaljer som kanske kommer revideras under referentgranskningsningprocessen. Jag hittade faktiskt ett litet misstag dessutom (de har missat att skriva siffran för den övre gränsen på ett av deras konfidensintervall).

Utöver de olika studietypernas slutsatser och rekommendationer fann man även att medlemmar av ISNPR var mer benägna än icke-medlemmar att både skriva NR och komma med starka slutsatser, och dessutom var medlemskapet associerat med större sannolikhet för finansiella jäv.

studieKvalitet, evidensstyrka och resultat från meta-analys

Utifrån instrumentet ”Assessment of multiple systematic reviews” (AMSTAR) bedömde man att de flesta SR och meta-analyser var av ”critically low quality”. Undantaget var två meta-analyser av ”low quality” och en meta-analys av ”moderate quality”.

Man genomförde en egen meta-analys där studier delades in i (i) kostens preventiva roll mot depression, (ii) kost som behandling för depression och (iii) kostintagets association med depressiva symptom över tid. Den tredje kategorin handlade om studier där kost-depression-sambandet inte var syftet från start. Ingen statistiskt signifikant effekt återfanns i varken (i) eller (ii).

För (iii) fanns en svag effekt, men resultaten var heterogena och det fanns indikationer på publikationsbias (dvs. när den finns en systematisk skevhet som gör att viss forskning lättare publiceras än annan, ofta pga. att den visar på positiva effekter).

När det gäller själva bedömningen av evidens för kostens roll i prevention och behandling av depression använde man instrumentet ”Grading of Recommendations Assessment, Development and Evaluation” (GRADE). Detta är praxis inom klinisk forskning.

Man fann i bästa fall ”low-certainty evidence” för en möjlig preventiv roll för kosten (SBU kallar klassificeringen ”Begränsat vetenskapligt underlag”). För behandling och för association mellan kost och minskade depressiva symptom över tid bedömde man att det förelåg ”very low-certainty evidence” (”Otillräckligt vetenskapligt underlag”).

Det kanske låter lite konstigt att preventions- och associationsklassificeringarna ”bytte plats” i GRADE jämfört med resultatet i meta-analysen. Men dessa två skall inte förväxlas. Du kan få statistiskt signifikanta resultat från en grupp värdelösa studier – det kommer inte ge en högre bedömning för det. Slutsatsen är utan tvekan att man i praktiken inte fann någon anledning att dra någon som helst slutsats, än mindre göra en rekommendation.

Reflektion

I den här studien av NR, SR och meta-analyser kring kostens roll i prevention och behandling av depression fann man att forskare som skriver NR oftare kommer med starka slutsatser och direkta rekommendationer, att detta är kopplat till medlemskap i en organisation som tydligt tagit ställning i frågan och att dessa forskare oftare har finansiella intressen av sina slutsatser. Dessutom, i studiens egen utvärdering av studiekvalitet, effekter och evidensnivå kom man fram till att vi i princip inte har något alls att gå på.
Att en genomsnittlig NR i det här urvalet innehöll nästan 50 procent färre artiklar kan vara en förklaring, men samtidigt påpekar forskarna att det ju faktiskt i princip inte finns några riktigt bra studier alls. Så det betyder i så fall att de inte bara tar med färre utan dessutom överdriver inflytandet från svaga studier. Detta håller jag för egen del som ganska troligt, om jag skall vara helt ärlig.

Även finansiella intressen skulle ju kunna spela in här. Fast drar vi finansiärkortet måste vi vara konsekventa och, om vi går bortom just denna studies avgränsning, även väga in finansiella intressen i exempelvis psykofarmaka. Det här är inte en foliehattsteori utan bara ett erkännande av att det alltid finns finansiella intressen i människors hälsa – oavsett om man producerar bacon, mediciner eller havremjölk.

Ska jag själv gissa så tror jag att resultatet snarare förklaras av att forskare förälskar sig i sina hypoteser. Jag tror ofta att vi tänker oss att forskare först ”köps” och sedan driver finansiärens agenda. Men det kan lika mycket handla om att en forskare redan har en genuin uppfattning om vad som är rätt och därför gärna samarbetar med industrin för att förbättra samhället.

Det är ju i sak något fint – men det är ju ett problem om man har fel, förstås. Av det jag läst från nutritionspsykiatrin lutar jag definitivt mot slutsatsen att det handlar om forskare som är övertygade men med otroligt starka bias – till exempel denna artikel i The Conversation eller denna i Psychiatric Times.
Sist men inte mins måste jag förstås upprepa att jag skrivit om en pre-print. Det kan låta tjatigt, men en av många lärdomar jag dragit från hela covid-19-historien är att förväxling av pre-prints och artiklar som publiceras efter referentgranskning kan ställa till det. Det skall bli intressant att följa utvecklingen för den här artikeln. Jag är öppen för att behöva omvärdera.

Slutord

Den här texten har haft två syften. För det första, att på ett mer övergripande plan redogöra för skillnaderna i olika typer av översiktliga granskningar och analyser av forskning, och framför allt varför du måste förstå att typen av metodik spelar stor roll för vilken tillit du kan känna för att slutsatserna håller.

Jag har sett lite reaktioner på Twitter och alla är ungefär: ”Som vi redan visste då”. Och då menar jag inte kost-depression-sambandet utan skillnaden på vad man brukar finna när man läser en NR jämfört med en SR eller meta-analys. Igen: det är inget fel att en forskare skriver en NR om sitt expertområde – men läsaren bör kunna tolka det. Jag gjorde själv det här misstaget en hel del förr. Först kände jag ju inte till skillnaden, men även efter att jag lärt mig den så hade jag alldeles för hög tillit till NR-författarnas slutsatser. (När jag ser tillbaka inser jag att jag i allmänhet hade en väldigt blåögd syn på vetenskaplig objektivitet, men det är en helt annan diskussion.)

För det andra har jag exemplifierat NR-problematiken genom en studie som handlar om kost och depression, ett ämne som jag tycker passar Träningslära. Mitt eget bias här är väl ungefär det som jag precis diskuterat. Det finns inget ekonomiskt intresse – om något skjuter jag mig kanske i foten ekonomiskt eftersom ett etablerat kost-depression-samband möjligen skulle kunna innebära anslag för mig. Men jag har alltid varit skeptisk – särskilt när jag läst strunt som Henrik Ennarts artiklar om depression och socker i Svenska Dagbladet.

Att det på ett övergripande plan finns en koppling mellan hur vi mår psykiskt och vad vi äter är knappast kontroversiellt, exempelvis kan kaliumbrist öka risken för depression. Men nutritionspsykiatrin handlar inte bara om att erkänna en generell koppling mellan näringsstatus och psykisk hälsa. Man går längre – till att konkreta kosthållningar, till och med enskilda näringsämnen eller livsmedel, kan rekommenderas som prevention och till och med implementeras i klinisk behandling.

Det är otroligt långt dit – om det överhuvudtaget kan fungera – och jag tycker att vi av etiska skäl skall vara mycket försiktiga med att måla upp depression som något man har för att man ätit för onyttigt, eller skuldbelägga deprimerade människor för att de ”inte tar tag i kosten”. För mig manifesterar nutritionspsykiatrin en bredare medikalisering av mat som jag är djupt kritisk mot. Att de starkaste vetenskapliga slutsatserna dessutom kommer från de sämsta källorna gör mig inte direkt mindre skeptisk.

/Nicklas

Notis: Efter att jag hade skrivit klart den här texten (30 augusti) sa jag till Jacob att han kunde avvakta lite med korrekturet eftersom jag egentligen tänkt hålla inne med den tills studien publicerats ordentligt. Han visste alltså inte vad jag skrivit exakt och publicerade under tiden ”Matvanor och risken för depression” på Tyngre, där samma studie berörs. Av den anledningen valde jag att publicera här ändå. Så undrar ni varför Träningslära och Tyngre har två texter som är ganska lika vet ni nu varför.

2 svar på “Narrativa reviews, systematiska reviews och meta-analyser – olika slutsatser om kost och depression”
  1. Hej jag har fått olika sorters nötter och mandlar från min dotter i USA och jag undrar hur länge de kan förvaras. Har haft dem i kylskåp i plastpåsari ung 3 år.
    De smakar som vanligt och har ingen konstig lukt.
    Nu har jag hört att det kan bli mögel i dessa och jag undrar hur man upptäcker det?

  2. Hej, Har hört att vissa studier har gjorts på kosttillskott och vitamintabletter, att vissa sådana ökar dödligheten och cancerrisk, vad kan ni hitta för forskarstöd för att man verkligen SKA undvika sådana tabletter, utan, naturligtvis, äta vitaminer i sin naturliga omgivning, dvs frukt och bär, för att undvika ökad mortalitet?

Lämna ett svar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *