Paradoxul eșantionului mic
Ciocolata probabil nu te face să slăbești
Cu ceva timp în urmă, un studiu aparent serios care arăta beneficiile ciocolatei pentru cei care doresc să slăbească a fost preluat de către mass-media din întreaga lume. Dar acum, la sfârșitul lunii mai, asistăm la o revenire neprevăzută: autorul articolului aparent științific admite totul. A fost o păcăleală menită să arate cât de ușor pot fi păcăliți mass-media.
În această postare, autorul, John "Bohannon", explică în detaliu modul în care a realizat un studiu real - foarte prost realizat, dar intenționat - pe care apoi a reușit să-l încadreze într-un jurnal prădător. Dintre tehnicile pentru a obține rezultatele dorite (adică ciocolata este bună pentru dieta ta), autorul spune că a calculat de fapt o mulțime de indicii. Aceasta este într-adevăr o procedură înșelătoare eficientă, deoarece fiecare nouă măsurare și fiecare nou test statistic crește probabilitatea de a avea cel puțin un fals pozitiv.
Dar John "Bohannon" adaugă acest lucru:
Dar chiar dacă am fi fost atenți să nu multiplicăm testele, studiul nostru a fost condamnat de numărul mic de subiecți, care amplifică efectul factorilor necontrolați.
Prin urmare, autorul pare să ne spună că, alegând un eșantion mic la început, a crescut probabilitatea de a avea un fals pozitiv. Cu toate acestea, acest lucru este fals și este un exemplu izbitor de ceea ce am numit eroare a eșantionului mic.
Mai mulți utilizatori de internet și colegi mi-au subliniat, totuși, că denunțarea mea despre „eroarea mică a eșantionului” era discutabilă. Cazul anterior este într-adevăr un exemplu de eroare, dar putem interpreta lucrurile diferit. Această postare își propune să clarifice limitele a ceea ce este eroarea eșantionului mic și de ce există totuși motive pentru a fi atenți la rezultatele găsite pe eșantioanele mici - totul depinde de întrebarea care apare.
Rata fals pozitivă nu se modifică odată cu mărimea eșantionului
În statistici, folosim în general un risc de primul tip de 5%, ceea ce înseamnă că atunci când nu există niciun efect (dacă ciocolata nu are niciun efect asupra greutății, de exemplu), avem o probabilitate de 5% să concluzionăm în mod greșit că există este un efect. Această valoare de 5% nu depinde de mărimea eșantionului: un efect observat mai mare va fi necesar dacă eșantionul este mai mic, dar probabilitatea de eroare este întotdeauna de 5%.
Imaginați-vă că testăm 100 de efecte posibile, care, în realitate, nu există. Indiferent de mărimea eșantionului, ar trebui să ne așteptăm la 5 falsuri pozitive. Imaginați-vă că testăm 100 de efecte reale. Deci, prin definiție este imposibil să ai un „fals pozitiv”. Acest lucru ne permite să afirmăm acest lucru mai general: atunci când facem o serie de studii, numărul de fals pozitivi dintre aceste studii nu depinde de mărimea eșantioanelor. Argumentul lui John "Bohannon" este deci fals: alegând un eșantion mic, nu crește probabilitatea de a găsi un fals pozitiv.
Cu cât eșantioanele sunt mai mari, cu atât avem mai multă putere
În timp ce mărimea eșantionului nu are niciun impact asupra probabilității de a avea un fals pozitiv, aceasta afectează însă probabilitatea de a detecta un efect real. Cu probe mici, este imposibil să se detecteze efecte slabe. Acesta este motivul pentru care eșantioanele gigantice sunt adesea folosite în genetică: efectele fiind minime, nu am găsi altceva.
Imaginați-vă următoarea situație: testăm 200 de efecte posibile. De fapt, 100 sunt reale și 100 nu există.
Pe cele 100 de teste corespunzătoare efectelor inexistente, se poate concluziona (greșit) că există un efect în 5 cazuri, că probele sunt mici sau mari. Pe cele 100 de teste corespunzătoare efectelor reale, se va încheia (de exemplu) cu un efect în 80 de cazuri dacă eșantioanele sunt mari, dar în 20 de cazuri numai dacă eșantioanele sunt mici.