Mer om anekdoter och lite kring köpt forskning

Detta inlägg är lite av en fristående fortsättning på inlägget Annika Dahlqvist, VoF, konspirationer, argumentationsfel och anekdoter.  Jag kommer att fortsätta titta lite närmare på anekdoter och de argument som har dykt upp på nätet de senaste veckor för och emot användandet av dessa inom vetenskap. Om det är svårt att hänga med i det jag skriver så rekommenderar jag att man läser det inlägget först. Erik Kilborn (EK) som jag tog  upp i första delen fortsätter att argumentera i tråden hos kostdoktorn och ytterligare ett par saker till är värda att kommentera.

Det är inte anti-vetenskapligt att hänvisa till s.k. anekdoter! Några få anekdotiska vittnesmål räcker såklart ingenstans för en generalisering, men med hjälp av internet har vi tusentals anekdoter i kostfrågan.

Här måste man särskilja på olika typer av anekdoter.

1. Anekdoter kring områden där man inte vet hur något faktiskt fungerar

Det är stor skillnad på en anekdot kring ett ämne som inte är utforskat kontra ett ämne där det finns gott om studier. Finns det inga studier på området så får man gå efter den baskunskap som finns och därefter se vad som verkar fungera i praktiken under förutsättningen att det stämmer med det man faktiskt vet. Det är så man får arbeta väldigt ofta inom elitidrotten. Konsekvenserna av detta är att man kommer på en hel del som fungera, men samtidigt så testar och utvärderar man en väldig massa som inte fungerar överhuvudtaget. Fördelen inom idrotten är att man har väldigt tydliga och objektiva mått på sina resultat. Oftast är det svar man får också ganska snabbt och det handlar sällan om mer än några månader. Idrottare har ofta en väldigt väl utstakad vardag och en förändring i deras upplägg är oftast just endast en förändring. När det gäller kost och hälsokonsekvenser flera år fram i tiden så är det mycket mycket svårare. Här har man en mängd andra faktorer som inverkar så som fysisk aktivitet, stress, arbetstider, sömn osv. När man är inne på detta område och baserar sina uttalanden på anekdoter så är det väldigt viktigt att man uttalar sig försiktigt och är tydlig med att man inte är säker. Det är främst här som Annika Dahlvist har fallerat totalt då hon inte ens verkar kunna särskilja på anekdoter och studier.

2. Anekdoter som går emot studier

Finns det däremot studier som visar något och flera anekdoter talar emot så är det studien som man ska välja. Ta t.ex. personer som påstår att de inte kan gå ner i vikt som jag gick igenom i förra inlägget. Här finns det flera (100)tusentals anekdoter från folk som lovar och svär att de inte kan gå ner i vikt och trots detta så har man aldrig någonsin hitta en person som inte går ner i vikt när man verkligen övervakar vad personen i fråga stoppar i sig. Ett annat exempel är alla huskurer som finns för olika lättare åkommor, det är vida spridda och folk tror på dem men oftast när man gör en studie på det så är resultatet negativt. Utfallet i anekdoten behöver inte vara fel, men allt som oftast är förklaringsmodellen felaktig. Många försöker skaka av sig detta argument med att säga, ”vem bryr sig, det fungerar”, men det fungerar tyvärr inte så lätt. Som sjukgymnast stöter jag ofta på personer som har försökt att självbehandla sin skada genom att göra några övningar som de fått av en kompis som ”också har ont i ryggen”. Många gånger så är dock orsaken till deras problem helt olika och har helt olika förklaringar och behandling kommer att skilja sig. Att två personer upplever ett problem som lika (tex ont i ryggen) betyder inte att orsaken är den samma och lösningen kan därför vara helt skilda från varandra. Det solklara svaret på det EK skriver här ovanför är därför ett ruggande nej. Det räcker inte med tusentals anekdoter. Särskilt inte när förklaring och motiveringar inte stämmer med det man kommit fram till i studier på fler olika platser av flera olika forskare.

Lite kring köpt forskning

Problemen med köpt forskning är något som alltid har funnits inom vetenskapen. Jag skulle nästa gå så långt som att säga att som forskare så kommer alltid ens förutfattade meningar att ha en inverkan på en studies resultat och tolkning av det resultatet. Hur stor inverkan blir beror på vilken typ av studie som genomförs (det finns bla många tekniker för att minimera inverkan), hur erfaren forskaren är och på hur ärlig forskaren är. Just på grund av att det är så svårt att göra helt neutrala studier så är det ett krav inom forskningen att innan något accepteras så ska det reproduceras av flera forskare som arbetar på olika platser, är oberoende av varandra och som helst har lite skilda åsikter så att de försöker motbevisa varandras hypoteser. Jag har skrivit mer djupgående om detta i mitt inlägg ”Hur man studerar något vetenskapligt”.

Området köpt forskning har den senaste tiden fått stor uppmärksamhet inom Sverige när det gäller studier kring kost och hälsa. Mest utspritt är det nog inom vissa LCHF-kretsar där alla studier som talar det minsta emot deras slutsatser direkt avfärdas som köpta och sponsrade av ”etablissemanget”. När man frågar vad de baserar sin kritik på får man 99 gånger av 100 ett svar som innehåller Ancel Keyes’ och Seven Countries Study (en studie som ska ifrågasättas). I stort sett aldrig har man något saklig kritik mot själva studien i fråga utan allt som inte passar är skyldigt per association (en association som allt som oftast är väldigt svår att se om man nu inte köper etablissemanget som en allsmäktig förklaring).

Det som är lite sorgligt eller komiskt (beroende på hur man ser på det) i sammanhanget är att denna kritik kring köpt forskning inte verkar finnas alls när det gäller studier som passar in i deras slutsatser. Ett väldigt bra exempel här är den israeliska studien utförd av Shai et al. som tex Kostdoktorn kallar för:

Numera kanske det enskilt bästa stödet för att lågkolhydratkost är överlägsen fettsnål kost för långsiktig viktminskning

Denna studie, som gav det smått fantastiska (jag är ironisk) resultatet 0,9 kg fördel för lågkolhydratkost jämfört med Medelhavskost (OBS: ironi, mer om studien här), har en liten text i slutet där man kan läsa följande:

Supported by the Nuclear Research Center Negev (NRCN), the Dr. Robert C. and Veronica Atkins Research Foundation, and the S. Daniel Abraham International Center for Health and Nutrition, Ben-Gurion University, Israel.

Hoppsan! Hur ska man nu tolka detta? Är alla forskare köpta av någon sida? Personligen så är det inget jag hänger upp mig på och jag har inte ens tagit upp det i min genomgång utav studien. LCHF-are som däremot gillar att påpeka hur alla forskning är köpt hela tiden borde dock strycka studien från sin lista om de vill ha någon trovärdighet kvar. Än så länge har jag aldrig ens sett någon nämna det. Vi tittar vidare på Kostdoktorns sida och hittar ytterligare en studie utför 2003 som han kallar för

Den första välgjorda studien (RCT) på Atkins/lågkolhydratkost för viktnedgång. 63 deltagare. Vinnare? Mest viktnedgång på Atkinskost efter såväl 3, 6 som 12 månader (statistiskt signifikant bara vid de två första tillfällena).

Hur är det med denna studie mån tro? Jag laddar ner den och titta i slutet där forskarna uppger sina tidigare uppdrag och om någon sponsrat studien. Där kan man bland annat läsa följande kring en utav författarna.

Dr. Hill reports having received consulting fees from HealtheTech, Johnson & Johnson, Procter & Gamble, Coca-Cola, and the International Life Sciences Institute

En forskare som har fått pengar från flera läkemedelsföreta och Coca Cola har alltså publicerat en studie där resultatet varit i fördel för lågkolhydratskost! De andra författarnas meritlista är inte mycket ”bättre” sett till tidigare uppdrag.

Hur ska man tolka informationen här ovanför?

Den sista studien här ovanför skulle av någon konspiratoriskt lagd person säkert tolkas som ett otroligt bevis för lågkolhydratkost. ”Forskare som är köpta av etablissemanget kunde inte vrida resultatet i fördel för lågfettkost vilket bevisar hur otroligt överlägset lågkolhydratkost är!”. Jag är övertygad om att orsaken till att jag inte redan har hört detta argument är för att samma människor som skriker ”köpt forskning” till allt som inte passar det som de vill tro på, aldrig i själva verket tittat på studierna och deras författare. Det är helt enkelt deras ”default” försvar när man frågar dem något som inte passar med deras världsbild.

Jag skulle istället för konspirationsargumentet säga att studien ovanför visar hur det fungerar inom forskningsvärlden överlag. Forskare redovisar sina resultat oavsett om de går emot det som de tidigare har förespråkat (notera att jag i detta fall inte har någon som helst aning om vad forskarna i studien verkligen har gjort för de olika företagen). Det finns onekligen fall där resultatet i en studie har manipulerats och det finns säkert flera studier publicerade där man aldrig har märkt att resultatet är manipulerat. Det är just pga utav detta som man alltid måste vänta tills flera olika forskningsgrupper har reproducerat resultaten innan man drar en slutsats. Viktigt att även tänka på här är att det rent statistiskt kommer att bli en hel del resultat som blir felaktiga pga slumpen vilket ännu mer trycker på vikten av att resultat reproduceras.

Överlag är det dock sällan så att man hittar något fel i resultaten på studier. Där man istället brukar se författarens (och ibland även sponsorernas) agenda är i studiens upplägg och i diskussionen där man drar en slutsats från resultatet. Detta tycker jag är tydligt i flera studier som är sponsrade av PepsiCO och GSSI. Även rubrikerna i studien kan ibland kännas väl tilltagna när man läser en studie där det finns en sponsor som har ett speciellt intresse i studiens resultat (väldigt vanligt när det gäller studier på olika kosttillskott). När jag gjorde en snabb sökning på pubmed kring detta ämne så hittade jag även ett par studier på detta ämne där man kom fram till samma sak, alltså att slutsatsen skiljer sig, inte själv resultatet (4, 5).

Sponsring från företag av en hel studie eller i form utav medsponsring börjar bli allt vanligare inom forskning (1). Likväl som man inte ska förkasta en studie bara för att någon aktör  med en tveksam agenda varit inblandad så gäller det att vara väldigt vaken på den här typen utav studier. Studier som har sponsorer är redovisar oftare positiva resultat än studier från oberoende sponsorer eller fonder (exempel på olika genomgångar 2, 3). Sällan är det dock så att man kan se någon antydan till fusk utan det beror nog snarare på att studier med en sponsor som har en agenda lätt blir undanstoppade i något fack om företaget som utfört/sponsrat studien inte får det resultat som de hade önskat sig. Antydan till fusk skulle kunna ses genom att det utförs efterföljande studier av oberoende grupper som visar på resultat som skiljer sig markant från den sponsrade studiens resultat. Dessa är dock väldigt få till antalet även om de givetvis också ses.

Hur jag tänker..

Jag skulle säga att man aldrig ska avfärda ett resultat endast baserat på vem/vilka som har utfört en studie.  När man läser en studie vars sponsorer eller författare är lite tveksamma så är det dock viktigt att man verkligen tittar på om hypotesen och slutsatsen som dras i diskussionen av artikeln verkligen kan dras från den kunskap som finns och de resultat som studien har fått. Jag läser alla studier utförda av GSSI som jag stöter på och jag har än så länge aldrig stött på någon studie där jag direkt kunnat säga att jag inte tror på resultatet eller att jag sett någon studie som direkt talar emot deras resultat. Oftast har de endast överdrivet tidigare resultat i bakgrunden, gjort en dum jämförelse (tex vatten vs energidryck på resultat vid långa lopp) och sen dragit för stora slutsatser från sitt resultat. För att summera. Om man ska säga att forskning är köpt så ska man även kunna motivera det. Det räcker inte med att säga att han/hon har fått pengar från AXA för några år sen eller att han/hon föreläser för unilever 2 gånger per år.

Avslutning

Detta har varit två långa inlägg där jag i stort sett har luftat min egna åsikt istället för att återge studier och forskning vilket jag normalt brukar göra. Jag hoppas att inläggen har gett något och att min återgivning av hur jag ser på anekdoter och köpt forskning osv har gett läsaren några tips eller tankar kring hur de själva kan tolka vetenskap och den forskning som görs…

11 thoughts on “Mer om anekdoter och lite kring köpt forskning

  1. Du är grymt snabb på att leta upp information och sätta text till Guddi. Extra kul är det att just detta har jag funderat på själv, nu fick jag en del svar serverade på silverfat.
    Tack!

  2. Otroligt bra skrivet!! för mig är det lite som att slå in ”öppna dörrar” för jag är av exakt samma tankebanor ang allt detta. Men kul att läsa och se det kläs i väl formulerad text.

    Hela bloggen är klockren och jag hoppas ingen av er tappar sugen och fortsätter detta grymma jobb =)

  3. Mkt bra skrivet. Jag kunde inte hålla med mer angående ”köpta” forskare etc. LCHFare tenderar till att alltid vara något inkonsekventa i sina argument och väljer alltid det som passar deras agenda. Det måste ha varit skönt för dig att få ventilera ut dina åsikter =)

  4. Ang. sjulandsstudien:

    I stort sett aldrig har man något saklig kritik mot själva studien i fråga utan allt som inte passar är skyldigt per association (en association som allt som oftast är väldigt svår att se om man nu inte köper etablissemanget som en allsmäktig förklaring).

    Kan du förtydliga vad du menar? Jag förstår inte.

  5. Mikael Jansson: Kan du förtydliga vad du menar? Jag förstår inte.

    Så fort det är någon studie som antyder att LCHF inte är bäst för allt så är det ännu en studie utförd av någon forskare precis som Keys. Den enda associationen är med andra ord att studierna i fråga inte är pro-LCHF (den enda associationen) och detta räcker för att man ska få en kommentar kring Keys studie där samma person förkastar den andra studien med argumentet ”ser du, alla studier är fusk”.

    Ett studie som utfördes för 40 år sen är alltså många gånger det enda argumentet man får till varför alla studier utförda sen dess som inte passar med deras syn är studiefusk.

  6. Som anhängare av den gamla filosofen Karl Popper så är det underbart att läsa den här bloggen. Konspirationer är alltid falska och det är ju så lätt att skapa en teori kring några fakta och bortse från allt annat, precis som fettdoktorn har gjort. Eftersom Dahlqvists version av LCHF inte går att falsifiera (sån forskning är ”köpt” osv) rör det sig enligt Popper om en psedovetenskap som mer liknar en religion.

  7. Intressant inlägg. Det som jag tycker är tristast i alla debattinlägg om ”vilken kost är bäst”, både hos pro- resp kontra LCHF, är att det handlar alltid om vilken diet som innebär att man går ner mest i vikt.
    Så även här tyvärr, där du raljerar lite om den ”ofantliga skillnaden” som nu bara var 0,9 kilo. Det finns ju däremot ofantliga hälsovinster för den som hittar en diet som fungerar. Men går det ens att göra en studie som utvärderar allt annat? Hormonbalans, synskärpa (eller i alla fall mindre försämring av den), minskande håravfall, bättre tandhälsa, mindre sömnbehov, inte en enda förkylning mm som i alla fall jag har fått efter mer än 10 år med min egen anpassade form (ej superstrikt) av LCHF.
    Vikten ordnade sig på 4 månader och sen dess bryr jag mig inte om den, den ligger fast där kroppen nu tycker den ska ligga. Men hade nu XX-dieten ordnat detsamma på 3 månader och 3 veckor så hade ju den varit ”bättre” enligt de här kriterierna.. Oavsett hur jag skulle haft det med övriga effekter.

  8. Hej Svante!

    Svante: Så även här tyvärr, där du raljerar lite om den ”ofantliga skillnaden” som nu bara var 0,9 kilo.

    Nu är det ju inte jag som framhåller studien som något övertygande när det gäller viktnedgång utan Kostdoktorn. Om kostdoktorn framhåller studien som bra bevis ur viktnedgångssynpunkt så måste jag ju också kommentera just viknedgång. Annars blir det inte mycket till diskussion inte sant…

  9. Ok, du har en poäng där. Men jag tycker som sagt att tjatet om vikt kommer lika ofta från pro-lägret, även om jag tycker Kostdoktorn är rätt sansad.

  10. Bra artikel. viktig diskussion!

    Hur ser du själv på traningslara.se – ni är ”sponsrade” av ett kosttillskottföretag. Hur har detta påverkat det ni skriver/inte skriver på sidan – (om ffa kosttilskott). Självklart är det så att det finns Conlfict of interest här.

  11. Tjena Pelle!
    Det här har varit uppe flera gånger. Oftast tas de upp av personer som inte tycker om det vi skriver men inte har någon fakta att kontra med utan istället kör konspirationskortet 🙂

    Du kan läsa om det mest som redan har sagts under inlägget där vi tar upp samarbetet med Fairing. Vi har inga egenintressen i Fairing och deras försäljning utan det är utbyte av reklamplats som vi får ut av det hela samt att vi har lite extra insikt i var och hur Fairings produkter produceras vilket är fördelaktigt när det gäller tillskott.

    Vi skriver bara om tillskott som vi anser fungerar. Än så länge är det kreatin, protein, koffein, D-vitamin och omega-3. Av dessa säljer inte Fairing D-vitamin och koffein. Vi har fått flera frågor om andra tillskott och då gett ärliga svar oavsett om Fairing säljer produkten eller inte. Detta kan du leta upp på sidan med lite googlekunskaper om du vill.

    I övrigt så utför vi ingen egen forskning utan vi återger forskning med referenser till allt det vi skriver. Om det är någon som inte håller med/tror på oss så kan de läsa källorna själv och sen kommentera om de tycker att vi återger informationen felaktigt.

Lämna ett svar

E-postadressen publiceras inte. Obligatoriska fält är märkta *