Materialet får skrivas ut och användas för personligt bruk och i skolundervisning i grundskola och gymnasiet. Användning i andra syfte är ej tillåten utan tillstånd från författaren
Signifikant skillnad, vad betyder det rent praktiskt?
Vi behöver ditt stöd!
Hej! Du ser denna text därför att du verkar var en av våra mer trogna besökare och har besökt vår sida mer än 10 gånger på 10 dagar. Orsaken till att vi valt att
lägga upp den här texten är för att vi skulle uppskatta din support.
Vi lägger ner massor av tid på att skriva artiklar här på sidan vid sidan om våra huvudsakliga sysselsättningar som också
tar väldigt mycket tid. Med efterforskning och informationsinsamling tar varje inlägg ofta flera dagar att skriva ihop med
många investerade timmar. Vi anstränger oss också för att försöka svara på alla frågor här på traningslara.se
och vi gör det helt gratis.
Tyvärr är detta lite av en ohållbar situation i längden och som du kanske har märkt har inläggen börjat komma med lite
längre mellanrum. Vi har båda fått fokusera på andra saker som ger oss en verklig inkomst. Vi har genom åren testat
flera olika sätt att försöka tjäna in lite pengar på sidan men om man inte är villig att sälja ut sig och skriva
“säljande inlägg” för en viss produkt är detta väldigt svårt. Vi har även sen något år tillbaka haft en doneringsknapp
här på sidan men pengarna vi totalt har fått där är minst sagt blygsamma.
Vi hymlar inte med att vi förstås vill få in lite pengar på all tid vi lägger ner. Men samtidigt vill vi att sidan alltid skall vara
tillgänglig gratis för er läsare och att sidan fortsätter med att hålla sin integritet. Därför ber vi dig nu om hjälp. Vi frågar inte efter pengar, bara att du lägger ner en minut av din tid när du läst ett inlägg.
I slutet på varje inlägg finns det ett fönster likt det stora här under där det går en liten reklamfilm. Varje gång någon
trycker på Play på en sådan film får vi några ören. Det låter kanske som meningslöst för dig men om du och flera
andra av våra mer trogna läsare gör detta regelbundet så skulle det bli en rimlig inkomst för oss.
Då det är reklamfilm finns det egentligen inga begränsningar alls på hur ofta du får trycka på de här filmerna. Jämför
det med reklam på TV där företagen betalar just för att folk ska se deras reklam. Men detta ska givetvis inte missbrukas.
En titt varje gång du besöker sidan räcker gott. Videoklippen hittar du som sagt precis i
slutet av ett inlägg, bara att trycka när du läst klart.
Tack för din hjälp. Den här rutan kommer bara att dyka upp ibland och endast när du besökt sidan
regelbundet under en kortare tid. Detta som en påminnelse om att vi kontinuerligt behöver ditt stöd.
MVH
Jacob & Nicklas
Dela via E-postNär man läser en studie där man jämför olika typer av träningsformer eller behandlingsmetoder så stöter man ofta på p<0,05 eller p<0,01. Signifikantnivå är helt enkelt ett värde för hur stor sannolikheten är att man gjort fel. Om man använder 0,05 så är 95 % sannolikhet att det man påvisat stämmer och det finns således en risk på 5 % att det man kunnat påvisa i studien inte stämmer på en större grupp med liknande försöksobjekt (när detta sker kallar man det för ett typ I fel).
Valet av nivå är egentligen helt godtyckligt, men majoriteten av de studier man ser använder sig av p<0,05 som standard och p<0,01 används i undantagsfall. Den nivå man använder sig av kallar man för alpha nivå alternativt signifikansnivå.
Försöksgruppernas inverkan
Det finns tre faktorer när man ser till försöksgrupperna som påverkar hur lätt det är att urskilja en skillnad mellan två grupper i en studie. Dessa tre faktorer måste man ta i beaktande när man ska försöka få ut något praktiskt av ett resultat från en studie. Jag kommer i detta inlägg att gå igenom de olika faktorer och berätta varför man måste tänka på dem när man tolkar en studies resultat.
Storleken på försöksgrupperna
Desto större försöksgrupper desto bättre är det. Särskilt vid randomisering så är det bra med stora försöksgrupper då risken är väldigt liten att att grupperna ska skiljas sig åt beroende på slumpen.
Det finns dock fall då en stor försöksgrupp kan vilseleda tolkningen av resultatet om man inte tänker till. Bara för att det finns en signifikant skillnad mellan två olika grupper så betyder inte detta att resultatet är något praktiskt användbart. Detta måste man tänka på extra mycket när försöksgrupperna är stora för när man har många försökspersoner är sannolikheten hög att man kommer kunna påvisa väldigt små skillnader i effekt.
Som exempel kan vi ta intervaller kontra kontinuerlig konditionsträning för att gå ner i vikt. Det är väldigt vanligt att man stöter på folk som säger att intervaller är bättre för att gå ner i vikt då man kunnat påvisa en signifikant skillnad mellan de två träningsformerna i flera studier. Det som dem inte vet eller väljer att utelämna är att det i alla dessa studier är väldigt lite viktnedgång vi talar om.
Som exempel på en praktiskt oväsentlig skillnad kan man ta Tremblays studie från 1994 (dock var det små försöksgrupper i denna studie) som man ofta se refererad i samband med ett påstående om att intervaller är 3 gånger (ibland till och med 9 gånger) bättre än kontinuerlig träning. Intervallgruppen gick i denna studie ner 0,5 kg på 20 veckor. Det fanns en signifikant skillnad mellan grupperna, men rent praktiskt så bör man nog fokusera på något annat om man vill gå ner i vikt.
Skillnaden mellan försöksgrupperna
Ibland stöter man på studier där försöksgruppen och kontrollgruppen skiljer sig åt redan från utgångsläget. Detta leder till att det blir svårt att dra några slutsatser från resultatet. Folk reagerar annorlunda på olika interventioner beroende på ålder, träningsstatus, sjukdomar, kön, livsstil etc..
Det är tex lättare att gå ner 10 kg om man har 30 kg övervikt än om man har 10 kg övervikt. När grupperna är mindre händer det ibland att slumpindelningen leder till att dessa skillnader uppstår och det gäller därför att ta dem i beaktande när man tolkar resultatet.
Variationen i försöksgrupperna
En stor variation i deltagarnas förutsättningar kan göra att man får vilseledande resultat. Om man tex tar en stor grupp människor med varierande ålder, säg 18-65, där medelåldern är 40 år och låter dem promenera 45 minuter 5 gånger i veckan. I resultatet ser man en hel del positiva värden när man tittar på hela gruppen och slutsatsen blir att om alla människor hade promenerat regelbundet så hade hälsan varit större hos den arbetande befolkningen. Detta är ett helt korrekt påstående, men samtidigt så betyder det inte att några kvällspromenader i veckan kommer leda till några tydliga hälsoförbättringar för dig om du är 20 år och redan tränar regelbundet. Subgruppen med 20 åringar som redan tränade kanske inte fick någon förbättring av interventionen men detta doldes av det faktum att andra subgrupper förbättrades mycket.
Låt oss återgå till diskussionen med stora försöksgrupper för en stund. Stycket ovan är ett bra exempel på att det finns risker med ha stora försöksgrupper om en större grupp leder till en större variation mellan deltagarna. Det hade i den hypotetiska studien ovan kanske varit bättre att bara ta med folk mellan 50-65 och nöjt sig med en mindre försöksgrupp. Eller varför inte ta med alla i studien men analysera grupperna var för sig. Oftast är det så man gör men ibland stöter man på studier där alla subgrupper slås ihop till en stor grupp för att man ska kunna påvisa ett resultat.
Mängden test i studien
Det är vanligt att man stöter på studier där det görs väldigt många test för signifikans. Det kan tyckas att det inte spelar någon roll hur många test som blivit utförda men faktum är att ju fler test man utför desto större är risken att man kommer hitta en skillnad som faktiskt inte finns. Faktum är att risken ökar exponentiellt. Om man utför 10 test är risken över 40 % att man kommer få ett typ I fel. I längden spelar detta kanske mindre roll om man utför flera likvärdiga studier men tyvärr är det väldigt sällan som detta görs inom träningslära och träningsfysiologi.
Det är inte så ovanligt att man stöter på studier, sponsrade av diverse kosttillskottsföretag, där en av försöksgrupperna fått ta en av kosttillskottsföretagets produkter och därefter har man utvärderat resultatet med en 15-20 signifikanstest och när man sen ska marknadsföra produkten så väljer man naturligtvis att redogöra för de testerna som visat på positiva resultat. Det dem väljer att inte berätta är att då de har gjort 15-20 signifikanstest så är sannolikheten att de hittat en signifikant skillnad, mellan grupperna som egentligen inte finns, över 55-65 %, dvs större än att singla slant.
Materialet får skrivas ut och användas för personligt bruk och i skolundervisning i grundskola och gymnasiet. Användning i andra syfte är ej tillåten utan tillstånd från författaren
Skillnad i energiförbrukning mellan Crosstrainer och löpband
Skillnad i energiförbrukning mellan personer som har lätt eller svårt att gå upp i vikt
Kritiskt tänkande – Vad jämförs i en studie?
Den matten du redovisar i exemplet med ökad risk för signifikansskillnad i resultatet efter många studier kanske jag inte förstår till fullo men jag litar ändå på ditt kunnande efter civilingenjörsexamen. Er blogg har verkligen fått mig att förstå vikten av kritiskt tänkande. Är tacksam att ha fått upp ögonen för detta redan vid 19-års ålder.