L’esperimento non si ripete

Se si vuole pubblicare uno studio di biologia molecolare su una delle maggiori riviste scientifiche – del calibro di “Nature”, “Science”, “The Lancet” – da due anni a questa parte è necessario condividere gli ingredienti e rivelare la ricetta: immettere cioè in un database pubblico i dati grezzi e le procedure che hanno portato ai risultati. Quindi, grazie a queste informazioni, tutti gli ultimi studi pubblicati sono virtualmente ripetibili. “Bene, proviamo”, si è detto John Ioannidis della School of Medicine dell’Università di Ioannina (Grecia) insieme a un gruppo internazionale di ricercatori: “Prendiamo 18 studi in uno dei campi più all’avanguardia della ricerca – lo studio dell’espressione genica tramite microarray – pubblicati tra il 2005 e il 2006 su “Nature Genetics”, e vediamo per quanti potremmo davvero ottenere gli stessi risultati”. Risposta: due. Degli altri, sei possono essere riprodotti solo in parte o con discrepanze, e dieci non sono riproducibili a causa della mancanza o dell’inesattezza dei dati. Galileo ha intervistato Cesare Furlanello, a capo del gruppo di ricerca “Modelli predittivi per la biomedicina e l’ambiente” della Fondazione Bruno Kessler, coautore, con Giuseppe Jurman, dell’indagine che è stata a sua volta pubblicata da “Nature Genetics”.

Dottor Furlanello, perché è importante mettere a disposizione della comunità scientifica dati grezzi e procedure?

“Per almeno tre motivi: primo, per essere validati i risultati devono poter essere riprodotti da altri laboratori; secondo, gli scienziati sono pur sempre esseri umani e soltanto in una situazione con completa documentazione posso scoprire se un’analisi è scorretta o addirittura se c’è stata frode; terzo, perché stiamo assistendo a un nuovo modo di fare scienza, connessa e incrementale, in cui un ricercatore può utilizzare i dati raccolti dai laboratori di tutto il mondo e aggiungerli ai suoi per arrivare a nuovi risultati. Negli Usa, i National Insititutes of Health sono obbligati a depositare i dati e la Uniform Guidelines of the International Committee of Medical Journal Editors chiede agli autori di descrivere la procedura seguita con sufficiente dettaglio da permettere agli altri di riprodurre il risultato. In molti casi, quindi, sono le stesse riviste o gli enti che finanziano gli studi che richiedono la condivisione piena delle informazioni sperimentali come condicio sine qua non per la pubblicazione dell’articolo”.

Cosa si intende per “scienza incrementale”?

“Da dieci anni a questa parte, oltre che sui risultati, la ricerca si fonda sempre più sulla possibilità di connettere dati grezzi: possiamo disporre di studi che coinvolgono migliaia di soggetti ed è recente la possibilità di accedere ai numeri di altri. E questo è tanto più importante in quelle discipline in cui la complessità dei metodi di analisi e la quantità dei dati aumentano in modo esponenziale, come negli studi di associazione che si basano sul genotipo e in generale nella genetica medica. Basti pensare che le prime analisi genetiche erano condotte su poche centinaia di geni, ora siamo arrivati a un milione di sonde che interrogano tutti i geni nelle loro varianti. La nuova generazione di ricercatori è cosciente del fatto che la conoscenza non sta nel singolo articolo, ma nella stratificazione e nell’accumulo delle informazioni”.

Condividere i dati conviene anche economicamente?

“Ovviamente sì, la produzione dei dati ‘genomewide’ è molto esosa: un’indagine su mille coppie casi/controllo può costare più di un milione di dollari. Da qui l’esigenza di centralizzare le informazioni, condividerle e farle verificare. In questo modo si può abbreviare il ciclo di produzione di un nuovo farmaco anche di 5-6 anni. Per questo credo che nel prossimo futuro le procedure per gestire e sintetizzare i dati saranno più importanti dei dati stessi, come dimostra il fatto che persino Google si era offerta di servire da database scientifico, con la messa online di software scientifici open source. Non è solo questione di soldi: la scienza procede anche per risultati negativi, ma le riviste tendono a pubblicare soltanto i risultati innovativi e positivi. Sono quindi esclusi, spesso, gli studi retrospettivi, che hanno come obiettivo quello di confermare i risultati di altre ricerche”.

Qual è la conseguenza di questo modo di procedere?

“Ci troviamo con una miriade di ‘primi’ risultati positivi, raramente validati, anche perché gli altri gruppi di ricerca non riescono a riprodurli. Proprio come ha confermato la nostra indagine. Dei 18 articoli considerati, 16 dichiaravano esplicitamente che i dati sperimentali del profilo di espressione genica erano pubblici: in 13 casi erano pubblicati sul database statunitense Geo (Gene Expression Omnibus) o sull’archivio europeo Ebi. Ma abbiamo dimostrato che questo non garantisce che siano davvero utilizzabili. Intanto per i ricercatori che seguono le regole c’è almeno una consolazione: dal nostro studio è emerso che chi segue gli standard di deposizione delle informazioni viene citato il doppio degli altri. Il campione è piccolo ma il dato è comunque indicativo e ci dice che una maggiore qualità della ricerca porta a una maggiore diffusione della scienza”.