Blandade inlägg

Signifikant skillnad, vad betyder det rent praktiskt?

När man läser en studie där man jämför olika typer av träningsformer eller behandlingsmetoder så stöter man ofta på p<0,05 eller p<0,01. Signifikantnivå är helt enkelt ett värde för hur stor sannolikheten är att man gjort fel. Om man använder 0,05 så är 95 % sannolikhet att det man påvisat stämmer och det finns således en risk på 5 % att det man kunnat påvisa i studien inte stämmer på en större grupp med liknande försöksobjekt (när detta sker kallar man det för ett typ I fel).

Valet av nivå är egentligen helt godtyckligt, men majoriteten av de studier man ser använder sig av p<0,05 som standard och p<0,01 används i undantagsfall. Den nivå man använder sig av kallar man för alpha nivå alternativt signifikansnivå.

Försöksgruppernas inverkan

Det finns tre faktorer när man ser till försöksgrupperna som påverkar hur lätt det är att urskilja en skillnad mellan två grupper i en studie. Dessa tre faktorer måste man ta i beaktande när man ska försöka få ut något praktiskt av ett resultat från en studie. Jag kommer i detta inlägg att gå igenom de olika faktorer och berätta varför man måste tänka på dem när man tolkar en studies resultat.

Storleken på försöksgrupperna

Desto större försöksgrupper desto bättre är det. Särskilt vid randomisering så är det bra med stora försöksgrupper då risken är väldigt liten att att grupperna ska skiljas sig åt beroende på slumpen.

Det finns dock fall då en stor försöksgrupp kan vilseleda tolkningen av resultatet om man inte tänker till. Bara för att det finns en signifikant skillnad mellan två olika grupper så betyder inte detta att resultatet är något praktiskt användbart. Detta måste man tänka på extra mycket när försöksgrupperna är stora för när man har många försökspersoner är sannolikheten hög att man kommer kunna påvisa väldigt små skillnader i effekt.

Som exempel kan vi ta intervaller kontra kontinuerlig konditionsträning för att gå ner i vikt. Det är väldigt vanligt att man stöter på folk som säger att intervaller är bättre för att gå ner i vikt då man kunnat påvisa en signifikant skillnad mellan de två träningsformerna i flera studier. Det som dem inte vet eller väljer att utelämna är att det i alla dessa studier är väldigt lite viktnedgång vi talar om.

Som exempel på en praktiskt oväsentlig skillnad kan man ta Tremblays studie från 1994 (dock var det små försöksgrupper i denna studie) som man ofta se refererad i samband med ett påstående om att intervaller är 3 gånger (ibland till och med 9 gånger) bättre än kontinuerlig träning. Intervallgruppen gick i denna studie ner 0,5 kg på 20 veckor. Det fanns en signifikant skillnad mellan grupperna, men rent praktiskt så bör man nog fokusera på något annat om man vill gå ner i vikt.

Skillnaden mellan försöksgrupperna

Ibland stöter man på studier där försöksgruppen och kontrollgruppen skiljer sig åt redan från utgångsläget. Detta leder till att det blir svårt att dra några slutsatser från resultatet. Folk reagerar annorlunda på olika interventioner beroende på ålder, träningsstatus, sjukdomar, kön, livsstil etc..

Det är tex lättare att gå ner 10 kg om man har 30 kg övervikt än om man har 10 kg övervikt. När grupperna är mindre händer det ibland att slumpindelningen leder till att dessa skillnader uppstår och det gäller därför att ta dem i beaktande när man tolkar resultatet.

Variationen i försöksgrupperna

En stor variation i deltagarnas förutsättningar kan göra att man får vilseledande resultat. Om man tex tar en stor grupp människor med varierande ålder, säg 18-65, där medelåldern är 40 år och låter dem promenera 45 minuter 5 gånger i veckan. I resultatet ser man en hel del positiva värden när man tittar på hela gruppen och slutsatsen blir att om alla människor hade promenerat regelbundet så hade hälsan varit större hos den arbetande befolkningen. Detta är ett helt korrekt påstående, men samtidigt så betyder det inte att några kvällspromenader i veckan kommer leda till några tydliga hälsoförbättringar för dig om du är 20 år och redan tränar regelbundet. Subgruppen med 20 åringar som redan tränade kanske inte fick någon förbättring av interventionen men detta doldes av det faktum att andra subgrupper förbättrades mycket.

Låt oss återgå till diskussionen med stora försöksgrupper för en stund. Stycket ovan är ett bra exempel på att det finns risker med ha stora försöksgrupper om en större grupp leder till en större variation mellan deltagarna. Det hade i den hypotetiska studien ovan kanske varit bättre att bara ta med folk mellan 50-65 och nöjt sig med en mindre försöksgrupp. Eller varför inte ta med alla i studien men analysera grupperna var för sig. Oftast är det så man gör men ibland stöter man på studier där alla subgrupper slås ihop till en stor grupp för att man ska kunna påvisa ett resultat.

Mängden test i studien

Det är vanligt att man stöter på studier där det görs väldigt många test för signifikans. Det kan tyckas att det inte spelar någon roll hur många test som blivit utförda men faktum är att ju fler test man utför desto större är risken att man kommer hitta en skillnad som faktiskt inte finns. Faktum är att risken ökar exponentiellt. Om man utför 10 test är risken över 40 % att man kommer få ett typ I fel. I längden spelar detta kanske mindre roll om man utför flera likvärdiga studier men tyvärr är det väldigt sällan som detta görs inom träningslära och träningsfysiologi.

Det är inte så ovanligt att man stöter på studier, sponsrade av diverse kosttillskottsföretag, där en av försöksgrupperna fått ta en av kosttillskottsföretagets produkter och därefter har man utvärderat resultatet med en 15-20 signifikanstest och när man sen ska marknadsföra produkten så väljer man naturligtvis att redogöra för de testerna som visat på positiva resultat. Det dem väljer att inte berätta är att då de har gjort 15-20 signifikanstest så är sannolikheten att de hittat en signifikant skillnad, mellan grupperna som egentligen inte finns, över 55-65 %, dvs större än att singla slant.

Internet som kunskapsbas, del I -Introduktion

Den här artikeln är del 1 av 3 i artikelserien Internet som kunskapsbas

Vilken information stämmer?

Nuförtiden kan man hitta mer eller mindre all information man behöver gratis på Internet. Problemet är att man även kan hitta väldigt mycket felaktig information. Tidningar fyller sidorna med information som många gånger motsäger sig själv, en forskningsrapport kommer ut och tidningarna får det att låta som om det är någon ny sanning. På TV kan man se reklam för krämer som ska få en att tappa kilo i soffan och Gatorade säger till en att man ska dricka trots att man inte är törstig.

Ett annat problem är att mer eller mindre alla böcker och videos som marknadsförs måste sticka ut för att dra till sig uppmärksamhet. Det finns ingen som vill köpa en bok som bara upprepar sunt förnuft

  • Vill du gå ner i vikt så undvik godis, chips och läsk samtidigt som du börjar äta mer frukt & grönt
  • Om du vill bli mer vältränad så gå till gymmet och lyft lite vikter tills du blir trött och gå sen hem igen, upprepa 2-3 gånger i veckan.

Summan av det hela blir att man ser böcker som försöker utmärka sig genom att vara lite extrema åt något håll. Många går även så långt som att förvränga forskning och kunskap till att passa deras egna mål. Exempel på rubriker kan vara ”ät endast fett och protein och du kommer att gå ner i vikt”, ”pilates ger dig en smalare midja än löpning”, ”tjejer ska lyfta lättare vikter många repetitioner för att få en mer ’tonad’ kropp”.

Hur kan det komma sig att folk går ner i vikt oavsett om dem följer GI dieten eller om de använder sig av viktväktarnas koncept. Enligt Atkinsmetoden så är det kolhydrater som gör oss tjocka men hur kan det då vara att många personer som äter massor av kolhydrater förbli smala. Svaret är att så länge som en diet (eller ett träningsschema) följer vissa universella principer så spelar det ingen roll (för en frisk person) om kosten är enligt GI, Atkins, viktväktarna eller något annat koncept.

Ett annat möjligt problem med information på nätet är internetforum

Det är väldigt vanligt på olika träningsforum att en ny medlem på forumet (oftast en kille 15-18 år gammal) börjar en ny tråd där han ställer en fråga som är mer eller mindre omöjlig att svara på med ett exakt svar. Exempelvis så kan han undra över hur många set biceps han ska köra varje vecka. Då det inte finns ett rätt svar på frågan får killen genast en mäng olika svar, allt ifrån ”det behövs inga specifika övningar för armarna om man kör flerledsövningar som rodd och bänkpress” till ”för maximal tillväxt behövs runt 12-15 set per träningspass”.

Hur ska killen veta vilket svar han ska lyssna på? I denna fråga finns som jag redan skrivigt inget rätt svar men det finns dem som är mer vettigare än andra. Om killen i fråga kör 10 set med olika dragövningar samma dag eller dagen innan så är 12-15 set ingen bra idé då det antagligen bara kommer ökad risken för en överbelastningsskada. Om killen är en fotbollspelare som tränar för att bli bättre på fotbollsplan så gör han kanske bäst i att spara energin till annat och nöjer sig med något set biceps i slutet av träningen. Om killen istället sattsar stenhårt på beachen 2008 och bara tränar bröst, axlar och armar så är det givetvis nödvändigt med flera set för biceps.

I detta fall så slutar det 9 ggr av 10 med att killen lyssnar på den killen i tråden som ser mest vältränad ut i sin avatar alternativt den killen som har flest inlägg. Detta är ett naturligt beslut, om man inte vet vem som har rätt så lyssnar man på den som ser ut att kunna mest. Naturligtvis tror man att den killen som är mest vältränad vet mest om träning. Det man glömmer i detta fall är att

  1. Personen i fråga kan se ut som han gör trots (inte tack vare) att han tränar biceps på ett visst sätt
  2. Hans träningsprogram kanske ser helt annorlunda ut i övrigt, exempelvis kanske killen som kör 12-15 set biceps väldigt få dragövningar i sitt program
  3. Personen som gett best råd i tråden kanske kan mycket om styrketräning men är inte så muskulös pga skada/tidsbrist/har andra mål med träningen osv

Internetforum kan vara en väldigt stor källa till kunskap och man lär sig väldigt mycket genom att diskutera saker och väga fördelar mot nackdelar med olika metoder, men samtidigt är det väldigt ofta som det görs inlägg med svar som inte är passande för personen som ställde frågan.