rezumat

Există o îngrijorare din ce în ce mai mare că majoritatea rezultatelor actuale ale cercetărilor publicate sunt false. Probabilitatea ca o afirmație de cercetare să fie adevărată poate depinde de puterea și părtinirea studiului, de numărul altor studii asupra aceleiași întrebări și, mai important, de raportul dintre relațiile adevărate și fără relații dintre relațiile sondate în fiecare domeniu științific. În acest cadru, o constatare a cercetării este mai puțin probabil să fie adevărată atunci când studiile efectuate într-un domeniu sunt mai mici; când dimensiunile efectului sunt mai mici; atunci când există un număr mai mare și o preselecție mai mică a relațiilor testate; acolo unde există o mai mare flexibilitate în concepții, definiții, rezultate și moduri analitice; atunci când există un interes și prejudicii financiare și de altă natură mai mari; și când mai multe echipe sunt implicate într-un domeniu științific în urmărirea semnificației statistice. Simulările arată că, pentru majoritatea proiectelor și setărilor de studiu, este mai probabil ca o afirmație de cercetare să fie falsă decât adevărată. Mai mult decât atât, pentru multe domenii științifice actuale, concluziile cercetărilor susținute pot fi adesea doar măsuri precise ale prejudecății predominante. În acest eseu, discut implicațiile acestor probleme pentru desfășurarea și interpretarea cercetărilor.

Rezultatele cercetărilor publicate sunt uneori infirmate de dovezi ulterioare, rezultând confuzie și dezamăgire. Refutarea și controversa sunt văzute în întreaga gamă de proiecte de cercetare, de la studii clinice și studii epidemiologice tradiționale [1-3] până la cele mai moderne cercetări moleculare [4,5]. Există o îngrijorare din ce în ce mai mare că în cercetările moderne, descoperirile false pot fi majoritatea sau chiar marea majoritate a afirmațiilor de cercetare publicate [6-8]. Cu toate acestea, acest lucru nu ar trebui să fie surprinzător. Se poate dovedi că cele mai multe concluzii ale cercetărilor susținute sunt false. Aici voi examina factorii cheie care influențează această problemă și câțiva corolari.

Modelarea cadrului pentru descoperiri pozitive false

Mai mulți metodologi au subliniat [9-11] că rata ridicată de nonreplicare (lipsa confirmării) descoperirilor cercetării este o consecință a strategiei convenabile, dar nefondate, de a revendica rezultatele cercetării concludente numai pe baza unui singur studiu evaluat prin semnificație statistică formală, de obicei pentru o valoare p mai mică de 0,05. Cercetarea nu este reprezentată și rezumată în mod adecvat prin valori p, dar, din păcate, există o noțiune larg răspândită conform căreia articolele de cercetare medicală ar trebui interpretate numai pe baza valorilor p. Rezultatele cercetării sunt definite aici ca orice relație care atinge semnificație statistică formală, de exemplu, intervenții eficiente, predictori informativi, factori de risc sau asociații. Cercetarea „negativă” este, de asemenea, foarte utilă. „Negativ” este de fapt un nume greșit, iar interpretarea greșită este larg răspândită. Cu toate acestea, aici vom viza relațiile despre care anchetatorii susțin că există, mai degrabă decât constatările nule.

Se poate dovedi că cele mai multe concluzii ale cercetărilor susținute sunt false

tabelul 1

cele

Ceea ce este mai puțin apreciat este că prejudecățile și amploarea testelor independente repetate efectuate de diferite echipe de investigatori din întreaga lume pot distorsiona și mai mult această imagine și pot duce la probabilități chiar mai mici ca rezultatele cercetării să fie adevărate. Vom încerca să modelăm acești doi factori în contextul unor tabele similare 2 × 2.

Panourile corespund unei puteri de 0,20, 0,50 și 0,80.

masa 2

Testarea de către mai multe echipe independente

Panourile corespund unei puteri de 0,20, 0,50 și 0,80.

Tabelul 3

Corolari

Un exemplu practic este prezentat în Caseta 1. Pe baza considerațiilor de mai sus, se poate deduce mai multe corolari interesante despre probabilitatea ca o constatare a cercetării să fie într-adevăr adevărată.

Caseta 1. Un exemplu: știința la șanse reduse de pre-studiu

Să presupunem că o echipă de investigatori efectuează un întreg studiu de asociere a genomului pentru a testa dacă oricare dintre cele 100.000 de polimorfisme genetice sunt asociate cu susceptibilitatea la schizofrenie. Pe baza a ceea ce știm despre gradul de eritabilitate a bolii, este rezonabil să ne așteptăm că probabil în jur de zece polimorfisme genetice dintre cei testați ar fi cu adevărat asociați cu schizofrenia, cu raporturi de șanse relativ similare în jur de 1,3 pentru cei zece polimorfisme și aproximativ o putere destul de similară de a identifica pe oricare dintre ei. Apoi R = 10/100.000 = 10 −4, iar probabilitatea pre-studiu pentru ca orice polimorfism să fie asociat cu schizofrenia este și R/(R + 1) = 10 −4. Să presupunem, de asemenea, că studiul are o putere de 60% pentru a găsi o asociere cu un raport de cote de 1,3 la α = 0,05. Atunci se poate estima că, dacă se găsește o asociere semnificativă statistic cu valoarea p care abia depășește pragul de 0,05, probabilitatea post-studiu că acest lucru este adevărat crește de aproximativ 12 ori în comparație cu probabilitatea pre-studiu, dar este încă numai 12 × 10 −4 .

Corolarul 1: Cu cât studiile efectuate într-un domeniu științific sunt mai mici, cu atât rezultatele cercetării sunt mai puțin probabile să fie adevărate. Mărimea eșantionului mic înseamnă o putere mai mică și, pentru toate funcțiile de mai sus, PPV pentru o adevărată descoperire de cercetare scade pe măsură ce puterea scade către 1 - β = 0,05. Astfel, alți factori fiind egali, rezultatele cercetărilor sunt mai probabil adevărate în domeniile științifice care efectuează studii mari, cum ar fi studiile controlate randomizate în cardiologie (câteva mii de subiecți randomizați) [14] decât în ​​domeniile științifice cu studii mici, cum ar fi cele mai multe cercetări de predictori moleculari (dimensiunile eșantionului de 100 de ori mai mici) [15].

Corolarul 2: Cu cât dimensiunile efectelor sunt mai mici într-un domeniu științific, cu atât rezultatele cercetării sunt mai puțin probabile să fie adevărate. Puterea este, de asemenea, legată de mărimea efectului. Astfel, descoperirile cercetărilor sunt mai probabil adevărate în domeniile științifice cu efecte mari, cum ar fi impactul fumatului asupra cancerului sau bolilor cardiovasculare (riscuri relative 3-20), decât în ​​domeniile științifice în care efectele postulate sunt mici, cum ar fi factorii genetici de risc pentru multigenetic boli (riscuri relative 1.1-1.5) [7]. Epidemiologia modernă este din ce în ce mai obligată să vizeze dimensiuni mai mici ale efectelor [16]. În consecință, se așteaptă ca proporția rezultatelor cercetării adevărate să scadă. În aceeași linie de gândire, dacă dimensiunile efectului adevărat sunt foarte mici într-un domeniu științific, acest domeniu este probabil să fie afectat de afirmații fals pozitive aproape omniprezente. De exemplu, dacă majoritatea factorilor determinanți genetici sau nutriționali adevărați ai bolilor complexe conferă riscuri relative mai mici de 1,05, epidemiologia genetică sau nutrițională ar fi eforturi în mare parte utopice.

Corolarul 3: Cu cât este mai mare numărul și cu cât este mai mică selecția relațiilor testate într-un domeniu științific, cu atât rezultatele cercetării sunt mai puțin probabile să fie adevărate. După cum se arată mai sus, probabilitatea post-studiu că o constatare este adevărată (PPV) depinde foarte mult de cotele pre-studiu (R). Astfel, descoperirile cercetării sunt mai probabil adevărate în proiectele de confirmare, cum ar fi studiile controlate randomizate de fază III mari sau meta-analize, decât în ​​experimentele generatoare de ipoteze. Câmpurile considerate extrem de informative și creative având în vedere bogăția informațiilor asamblate și testate, cum ar fi microarrays-urile și alte cercetări orientate spre descoperire de mare capacitate [4,8,17], ar trebui să aibă un PPV extrem de scăzut.

Corolarul 5: Cu cât sunt mai mari interesele și prejudecățile financiare și de altă natură într-un domeniu științific, cu atât rezultatele cercetării sunt mai puțin probabile să fie adevărate. Conflictele de interese și prejudecăți pot crește părtinirea, u. Conflictele de interese sunt foarte frecvente în cercetarea biomedicală [26] și, de obicei, sunt raportate inadecvat și slab [26,27]. Prejudecățile nu pot avea neapărat rădăcini financiare. Oamenii de știință dintr-un anumit domeniu pot fi prejudiciați doar din cauza credinței lor într-o teorie științifică sau a angajamentului față de propriile descoperiri. Multe studii, altfel aparent independente, bazate pe universitate, pot fi realizate fără niciun alt motiv decât pentru a oferi medicilor și cercetătorilor calificări pentru promovare sau funcționare. Astfel de conflicte nefinanciare pot duce, de asemenea, la rezultate și interpretări raportate denaturate. Anchetatorii de prestigiu pot suprima prin procesul de evaluare inter pares apariția și diseminarea constatărilor care le infirmă constatările, condamnându-și astfel câmpul pentru a perpetua dogma falsă. Dovezile empirice ale opiniei experților arată că este extrem de nesigură [28].

Corolarul 6: Cu cât un domeniu științific este mai fierbinte (cu mai multe echipe științifice implicate), cu atât rezultatele cercetării sunt mai puțin probabile să fie adevărate. Acest corolar aparent paradoxal urmează deoarece, după cum sa menționat mai sus, PPV-ul descoperirilor izolate scade atunci când multe echipe de anchetatori sunt implicate în același domeniu. Acest lucru poate explica de ce ocazional vedem emoții majore urmate rapid de dezamăgiri severe în domenii care atrag atenția largă. Cu multe echipe care lucrează în același domeniu și cu producerea de date experimentale masive, sincronizarea este esențială în competiția superioară. Astfel, fiecare echipă poate acorda prioritate urmăririi și diseminării celor mai impresionante rezultate „pozitive”. Rezultatele „negative” pot deveni atractive pentru diseminare numai dacă o altă echipă a găsit o asociație „pozitivă” pe aceeași întrebare. În acest caz, poate fi atractiv să respingem o cerere făcută într-o revistă de prestigiu. Termenul de fenomen Proteus a fost inventat pentru a descrie acest fenomen al revendicărilor extreme de alternanță rapidă și a respingerilor extrem de opuse [29]. Dovezile empirice sugerează că această succesiune de contrari extremi este foarte frecventă în genetica moleculară [29].

Acești corolari consideră fiecare factor separat, dar acești factori se influențează adesea reciproc. De exemplu, anchetatorii care lucrează în domenii în care mărimile efectului adevărat sunt percepute ca fiind mici pot avea mai multe șanse să efectueze studii mari decât anchetatorii care lucrează în domenii în care mărimile efectului adevărat sunt percepute a fi mari. Sau prejudecățile pot prevala într-un domeniu științific fierbinte, subminând în continuare valoarea predictivă a rezultatelor cercetării sale. Părțile interesate extrem de prejudiciate pot chiar crea o barieră care întrerupe eforturile de obținere și diseminare a rezultatelor opuse. În schimb, faptul că un domeniu este fierbinte sau are interese puternice investite poate promova uneori studii mai mari și standarde îmbunătățite de cercetare, sporind valoarea predictivă a rezultatelor cercetării sale. Sau testarea masivă orientată spre descoperire poate duce la un randament atât de mare de relații semnificative încât anchetatorii au suficient pentru a raporta și căuta în continuare și, astfel, să se abțină de la dragarea și manipularea datelor.