Una parte delle pubblicazioni scientifiche nel campo delle neuroscienze potrebbe essere sbagliata. O quantomeno inattendibile. È l’allarme lanciato da Marcus Munafò e colleghi, psicologi e neurologi della University of Bristol e della University of Virginia, sulle pagine di Nature Reviews Neuroscience. I ricercatori hanno analizzato 730 studi nel campo delle neuroscienze pubblicati nel 2011, concludendo che la maggior parte delle scoperte rivendicate potrebbe essere statisticamente non affidabile.
In effetti, come racconta Wired.com, il campo delle neuroscienze cognitive e della psicologia ha avuto qualche scivolone negli ultimi anni. Soprattutto a causa di ciarlatani, scoperte non verificabili e studi basati su statistiche scadenti. Nel loro lavoro, gli scienziati si sono concentrati soprattutto sulla cosiddetta potenza statistica degli studi, cioè sulla probabilità che una ricerca riveli un certo effetto se questo effetto è davvero presente. La potenza statistica è legata sostanzialmente a due fattori: ladimensione del campione (il numero di soggetti osservati in una ricerca, per esempio) e la dimensione dell’effetto (la differenza nel volume cerebrale tra soggetti sani e soggetti malati di Alzheimer, per esempio). Più persone sono coinvolte nello studio e più grande è la dimensione dell’effetto, maggiore è la potenza statistica.
Il fatto che uno studio abbia potenza statistica insufficiente comporta conseguenze abbastanza negative dal punto di vista scientifico. È probabile che uno studio sottodimensionato non osservi un effetto che invece esiste, o includa un’alta proporzione dei cosiddetti falsi positivi, cioè effetti che raggiungono significatività statistica (e quindi vengono dati per veri) ma non sono reali.
La soglia che i ricercatori si pongono come obiettivo perché uno studio sia attendibile è in genere fissata all’ 80%. Vuol dire che, se un certo effetto fosse vero, la ricerca lo rivelerebbe otto volte su dieci. Ma circa la metà dei lavori studiati dall’équipe di Munafò aveva una potenza statistica al di sotto del 20%. E c’è di peggio. Per quanto riguarda gli studi di imaging cerebrale, la mediana della potenza statistica era appena dell’8% (in altre parole, metà dei risultati sono al di sopra di questo valore e metà al di sotto). Per due diverse tipologie di studi sugli animali, soprattutto nel campo della memoria, la mediana era del 18% e del 31%.
Non è un quadro confortante. E, tra l’altro, non è neanche la prima volta che gli scienziati hanno sollevato preoccupazioni di questo genere. “Stavolta, però, si tratta di una valutazione formale, numeri alla mano”, sottolinea Russ Poldrack, neuroscienziato cognitivo alla University of Texas, Austin, che non ha partecipato allo studio. “Sfortunatamente, nella comunità scientifica c’è ancora un gran numero di persone che vogliono far finta che questo problema non esista”. Poldrack è anche preoccupato per le conseguenze etiche della questione: “Se si conducono studi sottodimensionati su animali, si rischia di non scoprire nulla, e di sacrificare inutilmente esseri viventi. E lo stesso vale per gli esseri umani coinvolti nei testi clinici: anche se non rischiano la vita, non vengono comunque trattati con il rispetto che meriterebbero in quanto soggetti di ricerca”.
I ricercatori hanno individuato in due fattori le cause scatenanti di questa situazione. Anzitutto, ildenaro. Molti scienziati devono arrancare per trovare finanziamenti, ed eseguire studi più piccoli è un’escamotage per far durare più a lungo gli assegni di ricerca. E, in secondo luogo, la pressione subita dai ricercatori per pubblicare il più spesso possibile: “In molti casi, siamo più incentivati a essere produttivi che a essere scientificamente corretti“, protesta Munafò.
Per uscire dall’impasse, Munafò suggerisce di prendere spunto da quello che è accaduto nel campo della genetica, dove i ricercatori hanno fronteggiato il problema degli studi sottodimensionati aggregandosi insieme ad altri gruppi di ricerca per aumentare il volume dei dati. Il progetto OpenfMRI, guidato da Poldrack, è un esempio di applicazione di sforzi di questo tipo nell’ambito delle neuroscienze. Se non si perseguirà questa strada, conclude amaro Munafò, il valore scientifico delle pubblicazioni è destinato irrimediabilmente a diminuire sempre più.
Riferimenti: Nature Reviews Neuroscience doi:10.1038/nrn3475
Credits immagine: thelunch_box/Flickr
Via: Wired.it
Dopo una lunga esperienza clinica e di ricerca nel settore psichiatrico (sono ora in pensione) condivido il contenuto dell’articolo, sottolineando che specie nelle neuroscienze, mistificazioni, interessi e superficialità rallentano sia il percorso della conoscenza che il reale miglioramento dell’assistenza, affidata sopratutto, ma con tanti limiti, alla psicofarmacologia. In tal senso ho sintetizzato nel mio blog http://www.tuttosulladepressione.com/ le considerazioni di un esperto di farmacologia di fama internazionale, come Silvio Garattini, che in una sua pubblicazione, Trent’anni di psicofarmacologia in Psichiatria di comunità, Vol. VII n. 4, 2008, traccia un illuminante excursus sui progressi della psicofarmacologia, mettendone in evidenza i benefici per l’ammalato ma sottolineando i ritardi nella ricerca e le enfatizzazioni dettate dal marketing. Cita un lavoro (Kirsch et al., 2008) dal quale si evince, analizzati tutti gli studi disponibili presso la Food and drug Administration, “la grande difficoltà a differenziare -da un punto di vista statistico- gli SSRI dal placebo”. Nota che la letteratura scientifica dà risalto soprattutto ai lavori favorevoli agli antidepressivi (Melander et al., 2003) e che in gran parte dei casi “gli SSRI vengono utilizzati per eventi depressivi che poco hanno a che fare con la malattia depressione, da cui se ne deduce la loro inutilità per la maggioranza dei trattamenti. (Turner et al., 2008)”. Il suo giudizio complessivo è assai drastico: “Gli antidepressivi SSRI sono stati somministrati in modo indiscriminato producendo più danni che vantaggi”. Le aziende farmaceutiche hanno amplificato vantaggi che non esistevano, occultandone gli effetti tossici. “Chi ripagherà i pazienti e chi rimborserà il Servizio sanitario nazionale per questi inutili trattamenti?” Anche uno studio pubblicato nel 1998 dal New England Journal of Medicine ha evidenziato che nel 96% degli articoli scientifici vi era il sostegno finanziario delle industrie farmaceutiche.