Come verificare uno studio clinico in sei mosse

Uno studio pubblicato su una prestigiosa rivista scientifica possiede un’aura di autorevolezza che in pochi si sognerebbero di violare. Tuttavia, può succedere che la carta patinata dei Journal nasconda errori madornali che rendono del tutto irriproducibili gli esperimenti sui quali si basano interi articoli. Un commento apparso su Nature individua sei segnali d’allarme che dovrebbero insospettire un attento lettore.

A scovare le sei “bandiere rosse” è stato Glenn Begley, vicepresidente della TetraLogic Pharmaceuticals, che nel 2012 aveva già scritto un altro articolo sulla scarsa riproducibilità degli studi pre-clinici sui trattamenti contro il cancro. Begley racconta che un post-doc che lavora in quel campo gli ha scritto una email “disperata” per chiedergli di fare i nomi delle pubblicazioni in questione. Non potendo accontentarlo a causa di alcuni accordi di riservatezza, il manager della casa farmaceutica si è limitato a identificare in modo generico le sei domande che dovrebbero far dubitare circa la riproducibilità (vedi Galileo: Quanto sono attendibili gli studi di neuroscienze?) di un articolo scientifico.

1. Gli esperimenti di base sono stati condotti in cieco?
Spesso, un ricercatore che sa perfettamente qual è l’ipotesi che vuole dimostrare vede i risultati in modo lievemente distorto. Succede quando si tratta di valutare se i risultati di un esperimento hanno dato esito positivo o meno, gli intervalli di confidenza possono essere stravolti su base individuale o condizionati dalla consapevolezza di essere alla ricerca di qualcosa. Per evitare brutte sorprese è meglio che a condurre gli esperimenti sia del personale esterno all’esperimento. In questo modo, oltre a evitare errori dovuti a preconcetti, è possibile testare direttamente la riproducibilità degli studi pianificati in precedenza.

2. Gli esperimenti di base sono stati ripetuti?
Alcune tecniche di biologia molecolare che impiegano Dna e Rna sono molto costose e complicate, ragione per cui gli sperimentatori tendono a accontentarsi dei primi risultati che ritengono attendibili. Fidarsi dell’impressione che tutto sia andato bene è un errore: meglio ripetere l’esperimento fino a quando non si è certi che tutto non sia frutto del caso.

3. Sono stati pubblicati tutti i risultati?
Gli articoli di biologia molecolare fanno molto affidamento sui risultati presentati tramite immagini, come le foto di gel di agarosio o poliacrilammide sui quali è possibile tracciare la presenza o meno di proteine chiave. Purtroppo, queste foto sono fatte oggetto di veri e propri “taglia e incolla” mirati a escludere risultati ritenuti inutili e far risaltare alcuni dettagli ritenuti interessanti piuttosto che altri. Altre volte, un risultato insolito su 10 che rientrano nella norma viene isolato dal contesto e messo sotto i riflettori. Altro grave errore, sempre meglio mostrare tutto quello che è successo in laboratorio.

4. C’è traccia dei controlli positivi e negativi?
Le immagini dei gel caricati con Dna e sonde fluorescenti possono trarre in inganno in molti modi. Come nel caso precedente, un ritocco artificiale dell’esposizione della foto può trasformare un segnale molto debole in un vero e proprio faro nella notte. Questo tipo di errore è difficilmente individuabile se accanto ai campioni analizzati è mostrato un set di controlli positivi e negativi. Quando risultano omessi – così da cancellare un metro di paragone affidabile – dovrebbe suonare il campanello d’allarme.

5. I reagenti sono stati validati?
Gli esperimenti che fanno affidamento su composti chimici, anticorpi e altre molecole devono essere sempre descritti nei minimi particolari. Una semplice dimenticanza, un uso improprio o una disseminazione eccessiva di informazioni (come, per esempio, omettere la sezione materiali e metodi rimandando a descrizioni presenti in altri articoli) può causare seri problemi. Come detto all’inizio, un test di biologia molecolare dovrebbe essere facilmente riproducibile. Rendere complicate o fumose le procedure di allestimento del test non fa comodo a nessuno.

6. I test statistici sono appropriati?
Sbagliare con fiale, capsule petri e anticorpi è facile, ma con i numeri lo è in modo quasi mostruoso. Anche i test di correlazione più semplici possono nascondere grandi insidie quando la statistica viene utilizzata in modo poco accurato. I test devono essere riproducibili anche sotto l’aspetto matematico: piegare i logaritmi al proprio servizio non è il modo migliore per portare a casa un risultato. Meglio affidarsi ai controlli incrociati di scienziati esterni al gruppo. Ne va della reputazione dell’interno studio.

Riferimenti: Nature doi:10.1038/497433a 

Credits immagine: catd_mitchell/Flickr

LASCIA UN COMMENTO

Please enter your comment!
Please enter your name here