Lo scorso anno uno studio degli scienziati della Open Science Collaboration (Osc) pubblicato su Science aveva fatto scalpore tra gli psicologi, ma più in generale anche in tutta la comunità scientifica, tanto che poi la stessa rivista lo aveva annoverato tra le scoperte che avevano segnato il 2015. Perché? Affermava che la riproducibilità negli studi di psicologia era bassa: solo il 39% infatti degli studi riprodotti otteneva i risultati di quelli orginali. Un dato che pur non ammettendo necessariamente che gli studi originali fossero falsi sottolineava quanto fosse difficile riprodurre questi studi e al tempo stesso definire il concetto di riproducibilità. Ora a complicare il quadro arriva la critica di alcuni scienziati, che sempre sulle pagine di Science, affermano che lo studio che metteva in discussione la riproducibilità degli studi a sua volta è falsato, inaffidabile e che non bisognerebbe in sostanza essere così pessimisti sul caso.
Secondo Daniel T. Gilbert della Harvard University e i colleghi che firmano la critica, lo studio dell’Open Science Collaboration ha diversi problemi di fondo. A partire dal metodo non casuale di scelta degli studi da replicare, rivendicano ora gli scienziati, senza considerare i possibili effetti. “Se si vuole studiare un paramentro all’interno di una popolazione”, ha spiegato ha spiegato Gary King della Harvard University, tra gli autori del paper: “si può o campionare a caso la popolazione o operare correzioni statistiche per il fatto che non si è fatto così. L’Osc non ha fatto nessuna delle due cose”.
I metodi adottati dagli studi-replica, continuano gli esperti, erano notevolmente differenti da quelli originali, non potendo neanche chiamarsi “repliche”. Un esempio? Una replica di uno studio fatto su studenti di Stanford sulle politiche di ammissione all’università sarebbe stata replicata con studenti olandesi, che guardavano lo stesso video, in una lingua diversa dalla loro su un tema a loro estraneo. Si può parlare di replica in un contesto culturale così diverso, si domandano gli scienziati? Inoltre – e questo è un punto fondamentale – sono stati sottovalutati il numero di studi che sarebbero falliti solo a causa del caso. Ma non solo: gli studi più difficili da replicare avevano probabilità più alte (fino a 4 volte) di fallire rispetto a quelli più fedeli agli orginali. Va da sé che più ci si allontanava dalle condizioni originali più la probabilità di replica diminuiva. Infine, anche lo stesso numero di tentativi di replicazione – uno per studio – avrebbe minato l’affidabilità statistica dei risultati.
Tenendo conto di tutto questo, e aggiustando gli errori, la riproducibilità degli studi non sarebbe affatto bassa, al contrario rivendicano Gilbert e colleghi, e le conclusioni della ricerca dell’Osc non andrebbero considerate affatto affidabili. Anzi gli scienziati dell’Osc operando così non avrebbero proprio avuto modo di stimare la riproducibilità degli studi di psicologia, aggiunge Gilbert. Senza calcolare che, volendosi affidare agli stessi risultati e leggerli diversamente, quel 39% di riproducibilità ottenuto non andrebbe considerato un valore basso, ha spiegato King a Slate. Insomma non ci sarebbero motivi per parlare di una “crisi della riproducibilità” degli studi di psicologia.
Quello che oggi questi ricercatori sostengono è che siano state violate delle regole di base della scienza e del funzionamento del metodo scientifico e che hanno portato così a delle risposte sbagliate, il che non significa che i risultati degli studi originali fossero veri, ma solo che lo studio di riproducibilità dello scorso anno, per diversi motivi, non fornisce prove del contrario.
La critica è stata accompaganta anche da un nuovo commento da parte di alcuni autori del paper originale, che vede Cristopher Anderson del Russell Sage College come primo nome. Sostanzialmente, pur riconoscendo alcuni difetti nello studio sulla riproducibilità, Anderson e colleghi sostengono che sul caso possono essere fatte conclusioni sia ottimistiche che pessimiste (dipenderebbe dal punto di vista, sostengono) e che, ancora, non esiste nulla che sia perfettamente replicabile.
Riferimenti: Science
DOI: 10.1126/science.aad7243; DOI: 10.1126/science.aad9163
Credits immagine: Alex Proimos/Flickr CC
