För några veckor sen publicerades en artikel i tidskriften PLOS ONE som på ett bra sätt belyser ett av de huvudtema som jag har på den här bloggen och som jag, tillsammans med många läsare, anser är ett av de största problemen idag när det gäller hälsa, träning och kost.

PLoS One. 2014 Jan 17;9(1):e85355.
Media coverage of medical journals: do the best articles make the news?
Selvaraj S, Borkar DS, Prasad V.
BACKGROUND: News coverage of medical research is followed closely by many Americans and affects the practice of medicine and influence of scientific research. Prior work has examined the quality of media coverage, but no investigation has characterized the choice of stories covered in a controlled manner. We examined whether the media systematically covers stories of weaker study design.
METHODS: We compared study characteristics of 75 clinically-oriented journal articles that received coverage in the top five newspapers by circulation against 75 clinically-oriented journal articles that appeared in the top five medical journals by impact factor over a similar timespan. Subgroup analysis was performed to determine whether differences between investigations from both sources varied by study type (randomized controlled trial [RCT] or observational study).
RESULTS: Investigations receiving coverage from newspapers were less likely to be RCTs (17% vs. 35%, p = 0.016) and more likely to be observational studies (75% vs. 47%, p<0.001). No difference was observed in number of people studied (median: 1034 vs. 1901, p = 0.14) or length of follow-up (median: 1.80 vs. 1.00 years, p = 0.22). In subgroup analysis, observational studies from the media used smaller sample sizes (median: 1984 vs. 21136, p = 0.029) and were more likely to be cross-sectional (71% vs. 31%, p<0.001), while no differences were observed for RCTs.
CONCLUSIONS: Newspapers were more likely to cover observational studies and less likely to cover RCTs than high impact journals. Additionally, when the media does cover observational studies, they select articles of inferior quality. Newspapers preferentially cover medical research with weaker methodology.

Det man har gjort i den här studien är att man har analyserat de medicinska nyheterna som publicerats i större medier, i det här fallet The Wall Street Journal, USA Today, The New York Times, Los Angeles Times och San Jose Mercury News. Det man har undersökt är vilken typ av artiklar som tidningarna valt att skriva om i sin artiklar och vilka resultat som de belyser.
Därefter har man gjort en liknande analys av fem stycken medicinska tidskrifter. Man valde de fem tidskrifterna som hade störst impact factor under samma tid som man analyserade tidningsartiklarna. Impact factor är ett grovt mått på hur stor inverkan en vetenskaplig tidskrift har på fortsatt forskning. Tidskrifter med hög impact factor har därmed ofta många studier av hög kvalité.
När man sen hade analyserat typen av artiklar i vanliga media och i de vetenskapliga tidskrifterna så jämförde man dem och här under har du resultatet.

De här två diagrammen kan vara lite kluriga att tolka. Det du ser är fördelningen av redovisningen av olika typer av studier. De studier som generellt sett är av bästa kvalité för att utröna om det verkligen är någonting som orsakar eller hjälper mot något annat är RCT som representeras av den röda delen av kakan med nr 1.
Siffrorna går sen nedåt allt eftersom evidensen på studierna minskar. Här under har du listan på vilken typ av studie som passar i vilken kategori.

• Nr 1 är som sagt RCT, alltså randomiserade kontrollerade studier
• Nr 2 är resultat från välkontrollerade studier som inte är randomiserade. Dessa studier är som du kan se i statistiken ovanliga men de förekommer.
• Nr 3 är epidemiologiska studier. Alltså studier där man inte kan avgöra vad som orsakar vad och många gånger också har flera okontrollerbara variabler som kan inverka på resultatet.
• Nr 4 det här är studier där man tittar på samma fenomen vid olika tidpunkter, så kallade time series. Till exempel kan man fråga 1000 personer om de röker vid ett tillfälle och sen 10 år senare fråga 1000 andra personer. Detta ger en då en bild av hur trenden när det gäller rökning ser ut.
• Nr 5 är inga studier utan en experts åsikt och erfarenhet i en viss fråga. När det gäller artiklar i vetenskapliga tidskrifter så räknas det här som lägsta bevisformen. En expert som inte kan backa upp sina påstående med verklig data har alltså minimalt inflytande.

Som du kan se är omkring 40 procent av alla studier som du kan läsa i större vetenskapliga tidskrifter av evidensgrad ett. Det är alltså randomiserade kontrollerade studier som utgör knappt hälften av alla artiklar.
Tittar vi istället på hur ofta som tidningarna skriver om dessa artiklar är siffran mycket lägre. Den ligger på bara 17 procent. Det här är givetvis precis den raka motsatsen mot hur det egentligen borde vara om journalister sett sin arbetsuppgift som att verkligen försöka informera människor.
Resultat från RCT-studier blir inte alltid rätt tolkade och det händer även att resultatet från en studie aldrig går att upprepa. Men de är ändå mycket mer tillförlitliga än de andra formerna av studier. Så när någonting är visat i en RCT då är det sannolikt också något som är värt att informera allmänheten om.
Går vi nedåt sen i evidenshierarkin så kommer vi till nr 2 som är ovanlig i båda medierna men desto vanligare både i vetenskapliga tidskrifter och i allmän media är de epidemiologiska studierna. I Vetenskapliga tidskrifter representeras dessa studier drygt hälften av alla artiklar och i allmän media är det hela 68 procent av alla artiklar kring medicin som baseras på epidemiologi.

Media väljer oftare de sämre epidemiologiska studierna

Det är inte bara så att media i allmänhet väljer bort RCT som egentligen är bäst evidens i förmån för sämre evidens från epidemiologiska studier. Det är faktiskt till och med så att när man gjorde en subgruppsanalys för att titta på vilken typ av epidemiologiska studier som tidningarna valde att lyfta fram så var det oftast de sämre studierna från den här kategorin.
Alla epidemiologiska studier är nämligen inte skapta lika och tidningarna valde alltså oftast de sämre studierna. Detta innebär att de studierna som valdes ut för tidningar hade haft små grupper och oftast var studien av en typ kallad ”cross sectional”, eller tvärsnittsstudie på svenska.
En tvärsnittsstudie är precis som det låter ett tvärsnitt. Det enda man gör i de här studierna är att man frågar en mängd människor om deras vanor och sen försöker man med hjälp av matematik hitta en massa samband mellan till exempel hur ofta person äter mat x och denna persons hälsa just där och då.
I andra former av epidemiologiska studier följer man istället människor över tid. Du ställer en massa frågor en gång och sen kanske fem år senare får deltagarna svara på samma frågor samtidigt som du undersöker hur deras hälsa förändrats. Den här metoden är lite bättre då den i alla fall kan ge dig lite information om hur någonting i hälsan förändras övertid och sen kan du försöka räkna ut om detta korrelerar med något i personernas livsstil.
I media så föredrar man alltså den tvärsnittsstudierna vilket som sagt är de minst tillförlitliga. 71 procent av de epidemiologiska studierna som tidningarna tog upp var av denna typ medan motsvarande siffra i de vetenskapliga tidskrifterna var 31 procent.
Detta är en väldigt stor skillnad och då ska du som sagt också tänka på att tidningarna rapporterar om en större andel epidemiologiska studier i sig. Om vi räknar på det så innebär det faktiskt att hela 48 procent av de studier som det stod om i tidningarna i den här studien var tvärsnittsstudier. Detta trots att endast 16 procent av alla studier i vetenskapliga tidskrifter är av denna typ.

Få deltagare innebär osäkrare resultat

Det är dock inte slut här. Förutom att journalisterna uppenbarligen föredrar studier av låg kvalité rent metodiskt så är det faktiskt så att studierna man valde ut dessutom hade färre deltagare. Formulerat på ett annat så var det alltså så att av de 16 procent med tvärsnittsstudier som publicerades i vetenskapliga tidskrifter så valde journalisterna oftare ut de sämre studierna från denna kategori.

Inte bara media/journalisters fel

Den här stora snedfördelningen drivs troligen på av att tidningar numera lever på klick och rubriker. Inom vetenskapen innebär en ny studie i princip aldrig något revolutionerande. Det är istället oftast så att det är ett fynd som bekräftar tidigare fynd och som bäst adderar den lite mer information. Att berätta om en studie som bara berättar något som man egentligen mer eller mindre redan tyckt sig veta är helt enkelt inte lika intressant om ditt mål inte är att informera utan att väcka uppmärksamhet och få läsningar.
Det verkar dock som att det inte bara är medias eller journalisternas fel att det blir en sådan snedfördelning. I diskussionsdelen till den här studien tar man till exempel upp en studie där man undersökt pressreleasen från 10 medicinska center i USA fann man till exempel att 47 procent av dessa handlade om epidemiologiska studier medan endast 17 procent var verkliga RCT (1).

Summering – nu vet vi varför folk tror att allt ger cancer

Det här tycker jag är en utmärkt förklaring till varför människor är av den allmänna uppfattning att forskare inte kan någonting eller att de hela tiden motsäger varandra. Det är ju inte så konstigt att folk är av den uppfattningen när journalister systematiskt väljer ut de sämre studierna och redovisar dessa resultat som om det vore bevisade fakta.
Typexemplet här är ju att folk har uppfattningen att mer eller mindre allt ger cancer. I själva verket är det inte någon större andel av alla ingredienser i vår mat som associerats med cancer och i hela 80 procent av de fall där ingredienser har associerats med cancer så har det varit ett svagt samband i en epidemiologisk studie (mer läsning Ger allting cancer?). I media får dock de här svaga osäkra sambanden stor plats. Och det förvirrar givetvis människor.
Och slutligen, ja jag har överdrivet lite i rubriken. Helt enkelt för att det skulle bli en rubrik och inte ett stycke. Det finns flera andra saker som brister när det gäller i återberättandet av studier i media. Det jag har skrivit här handlar bara om vilka studier de väljer att berätta om från början.