Varför du sällan ska titta på outliers i studier

Publicerat den Inga kommentarer till Varför du sällan ska titta på outliers i studier

Det har dykt upp ytterligare ett återkommande snedtänk i nuvarande debatt. Den här handlar om att man ignorerar att det alltid finns en variation mellan olika deltagare.

Det händer hela tiden olika saker i människors liv som inte har någonting med det som studeras att göra. När det gäller vikt så kan man tex tänka sig att någon får sämre ekonomi, en annan blir förälder och tappar rutiner, en tredje blir sjuk, osv osv.

Det här innebär att även om man inte gör någonting så kommer vissa att gå upp i vikt och andra går ner i vikt, se bild 1.

Du kan pga det här inte ta folk i ena änden och säga, “titta, vissa människor går upp i vikt av placebo”.

Men det har gjorts och du kan två exempel i bild 2 och 3. Bild 3 är lite mindre fel men det är uppenbart att den insinuera samma sak.

Det du kan se i bild 2 är ett exempel på det som kallas för moving the goalpost. Det var inte det här som diskuterades först och så klart inget My tog upp i sin första replik, men när det visade sig att den första repliken inte var så stark så försöker hon nu ändra argument igen.

Vi är ju också tillbaka till “eftersom jag kan påpeka en brist i andras evidens så låtsas jag som att jag har rätt”-argumentet.

Hon har ju inte visat någon ny data som stärker det hon påstod. Hon kämpar istället bara på med att försöka säga att ingen har motbevisat henne eftersom alla studier har en brist.

Men, det finns studier där man redovisar resultaten på individnivå. Om Mys nya förklaring till varför medelvärdet blir lägre, men de flesta ändå blir tjockare, stämmer så skulle vi se det.

Du har exempel på 3 sådana studier i bild 4-5. Som du kan se är där inte ens en tendens till en sådan effekt. Istället är det tydligt att det som “påbörjat en diet” gör är att hela kurvan skjuts nedåt jämfört med gruppen som gjorde ingenting.

Alltså exakt det vi skulle vänta oss om förändringen påverkar deltagarna ungefär likadant allihop men livet i övrigt gör det svårare för vissa och lättare för andra.

Vad tror ni, kommer My leverera en studie med helt annat mönster än de jag tar upp här? Eller tror ni att det blir ingenting, precis som det inte blev någon studie där interventionsgruppen väger mer än kontrollgruppen?

Se inlägget på Instagram

Lämna en kommentar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *