Pur și simplu ignorați!
Ciocolata te ajută să slăbești? Vinul roșu vindecă cancerul? Studii fără sens sunt publicate în fiecare zi. Ar trebui să ne punem întotdeauna trei întrebări importante.
Ciocolata te face slabă! Cine ar fi crezut asta? Dar cifrele sunt clare: subiecților testați li s-a administrat o dietă săracă în carbohidrați timp de trei săptămâni - unui grup i s-a dat și sarcina de a mânca o batonă de ciocolată pe zi. Iată: grupul de ciocolată a slăbit mai mult decât grupul fără ciocolată. Un triumf glorios pentru ciocolată și o poveste grozavă care a ajuns pe primele pagini din întreaga lume.
Atunci când astfel de rezultate ale studiului sunt prezentate în știință, prima întrebare este: rezultatul este semnificativ statistic? Există întotdeauna diferențe între două grupuri - unul va avea, în medie, tensiune arterială ușor mai mare, unul va purta pantofi mai mari în medie, unul va pierde mai mult în greutate decât celălalt. Este inevitabil. Întrebarea este dacă aceste diferențe pot fi explicate prin simpla întâmplare sau dacă sunt rezultatul unei conexiuni reale, cauzale.
Acest lucru poate fi calculat statistic - se vorbește despre „semnificație statistică” atunci când probabilitatea este redusă ca o astfel de diferență între cele două grupuri să apară pur întâmplător, fără o cauză cauzală subiacentă.
În cazul studiului de ciocolată, problema a fost clară: din punct de vedere matematic, rezultatele au fost semnificative statistic. Deci, asta demonstrează matematic că ciocolata te ajută să slăbești? Nu, nu pentru mult timp!
Semnificație: prostii calculate
Povestea ciocolatei slăbitoare a fost pură prostie. A fost un experiment mediatic realizat de jurnaliști care au dorit să atragă atenția asupra problemei acoperirii slabe a studiilor slabe. Un studiu mizerabil a fost efectuat în mod deliberat, cu un număr mult prea mic de participanți și o perioadă de observație ridicol de scurtă pentru a stabili dacă mass-media va reproduce acest lucru neîndoielnic.
Au fost măsurate o gamă întreagă de parametri - nu doar greutatea, ci și diferite valori ale sângelui, bunăstarea generală și alte câteva. Cu orice valoare individuală, probabilitatea de a găsi o diferență mare între cele două grupuri prin pură coincidență este destul de mică, dar dacă examinați suficiente valori, veți găsi în cele din urmă o diferență care pare semnificativă statistic. Apoi puteți raporta cu entuziasm despre asta, taceți despre orice altceva.
Studii bune: cinstit sau înșelat?
Dacă un rezultat este semnificativ statistic, studiul a eliminat doar primul obstacol. De asemenea, trebuie să ne punem întrebarea: studiul a fost bine făcut? Chiar măsoară ceea ce ar trebui să măsoare - sau este doar un rezultat care a plăcut autorilor?
Astfel de trucuri murdare sunt destul de frecvente. Să presupunem că vreau să dovedesc că vinul roșu reduce riscul de cancer. Am două grupuri - un grup de băutori de vin roșu și unul care nu bea vin roșu. Enervant, nu găsesc o diferență semnificativă statistic în frecvența cancerului. Cu toate acestea, pot descompune datele în diferite tipuri de cancer - de la leucemie la cancer gastric la cancer pulmonar. Apoi, brusc, am mult mai multe oportunități de a găsi la întâmplare diferențe între cele două grupuri. Dacă caut suficient de mult, am garanția că voi găsi un cancer care este mult mai puțin frecvent în grupul de vinuri roșii. (Și probabil un altul care apare mai frecvent în acest grup - dar nu trebuie să includ asta în comunicatul meu de presă.)
În plus, o relație statistică nu înseamnă că una este cauza celeilalte. Poate că oamenii mai bogați beau mai mult vin roșu și își pot permite îngrijiri medicale mai bune în același timp? Astfel de factori confuzi trebuie luați în considerare într-un studiu bun.
Relevanță clinică: are vreo diferență?
Dar chiar dacă un studiu produce rezultate semnificative din punct de vedere statistic și este bine realizat, poate fi mai bine să îl ignori. Există o a treia întrebare de pus - și care este adesea uitată: rezultatul este relevant din punct de vedere clinic? Efectul este suficient de mare încât să merite să te gândești deloc?
Să presupunem că dezvoltăm un medicament care scurtează durata unei infecții gripale - de la o medie de paisprezece zile la treisprezece zile și șaisprezece ore. Să presupunem că studiul nostru este atât de bun încât putem dovedi acest efect dincolo de orice îndoială, chiar dacă este atât de mic. Ar fi medicii atunci entuziaști să recomande acest medicament? Probabil ca nu. Pacienții nu vor observa efectul - chiar dacă este posibil să fie acolo.
Cădem adesea în această capcană - nu numai atunci când există efecte pozitive, ci și mai des atunci când panica raportează despre pericole: Acrilamida din cartofii prăjiți este nesănătoasă? Da putin. Dar este relevant? Nu ar trebui să vă fie frică dacă nu vă faceți griji cu privire la cele paisprezece țigări pe care le fumați în fiecare zi? Sărurile de aluminiu din deodorant cresc riscul de cancer? Probabil că nu - dar chiar dacă vocile de avertizare ar fi corecte, efectul ar fi atât de mic încât alte o sută de decizii pe care le luăm în fiecare zi ar avea un impact mai mare asupra sănătății noastre. Creionele creează cancer? Da, poate dacă mănânci multe dintre ele. Dar în orice scenariu rezonabil de realist al vieții de zi cu zi, asta nu contează deloc.
Numai statisticile nu sunt suficiente. Doar pentru că scrie „semnificativ statistic” undeva în ziar nu înseamnă că ar trebui să fim impresionați. De asemenea, trebuie întotdeauna să luăm în considerare cât de mare este un efect, dacă este suprapus de alte efecte, cum este legat de alte efecte. Abia atunci putem decide ce să ne temem și ce să ignorăm în siguranță.
Florian Aigner este fizician și om de știință. El nu numai că se ocupă de subiecte interesante în științele naturii, ci adesea și cu esoterismul și superstițiile, cărora le place să se deghizeze în știință. El scrie despre știință, prostii și diferența dintre aceste două domenii în fiecare a doua marți din zona viitoare.