Pubblicare a tutto spiano spesso è l’autostrada per il Nobel. I fisici vincitori del prestigioso premio tra il 1955 e il 1965 avevano ricevuto, nel 1961, una media di 58 citazioni dei loro lavori, contro le 5,5 ottenute da altri autori. Che cosa significa? Che la quantità di articoli pubblicati è garanzia della qualità del lavoro svolto? Oppure che il fatto di avere una maggiore visibilità, e quindi una maggiore probabilità di essere citati dai colleghi, è di per sé un punto a favore per l’ambito premio? Si tratta di una questione tutt’altro che peregrina. Gli stessi scienziati e le istituzioni statali da tempo si preoccupano di trovare un criterio oggettivo per valutare la qualità di un lavoro scientifico. E non è un problema marginale, perché coinvolge la carriera dei singoli ricercatori nonché il prestigio, e il budget, delle istituzioni accademiche.
Da più di trent’anni la “scientometria” sfrutta il numero degli articoli pubblicati sulle riviste specializzate per quantificare la produzione scientifica di un dato paese e in un dato momento. Questo metodo è stato utilizzato in seguito anche nella valutazione di singoli ricercatori o di istituzioni accademiche, in base alla quantità di citazioni ricevute (riportata nel citation index) e al numero di pubblicazioni su riviste specializzate (impact factor).
Ma il problema è: cosa si misura realmente? In che modo la quantità può descrivere la qualità? Tradurre una realtà complessa in numeri, grafici e tabelle, comporta inevitabilmente delle forzature. E sono in molti a ritenere che la valutazione bibliometrica non faccia eccezione. Ecco alcuni esempi. Un lavoro figura in testa alla lista degli articoli citati, ma solo perché è stato molto criticato o molto citato dall’autore medesimo. E ancora: un istituto è in cima alla tabella delle università più prestigiose in un dato settore, ma solo perché ha un numero di ricercatori, e dunque di pubblicazioni, molto più elevato di altri.
Paolo Tosi, fisico dell’Università di Trento e autore di uno studio sulla valutazione della ricerca in tre dipartimenti universitari della sua città, riconosce che “l’analisi basata sugli indicatori bibliometrici è solo uno dei molti aspetti che vanno considerati nella valutazione della ricerca scientifica”. E aggiunge: “Gli indicatori utilizzati, numero di pubblicazioni e numero di citazioni ricevute, sono parametri che misurano solo in prima approssimazione ed in modo non dettagliato l’attività scientifica. Questo tipo di analisi può evidenziare solo delle linee di tendenza, che andrebbero confrontate e verificate con metodologie più puntuali”.
Uno degli elementi da tener presente è l’ampiezza del campione: l’”impact factor” e il “citation index” possono essere utilizzati con un buon margine di affidabilità, spiega Tosi, “solo per la valutazione complessiva di un organismo di ricerca o di un gruppo ragionevolmente ampio di autori e non per misurare la qualità di un singolo lavoro”.
Se, fa notare, “consideriamo un gruppo di 100 ricercatori e li suddividiamo in classi sulla base del numero di citazioni mediamente ottenute, è ragionevole pensare che nel gruppo con fattore d’impatto più elevato vi siano anche coloro che hanno realizzato i lavori qualitativamente migliori. Al contrario, è assai difficile affermare che l’autore maggiormente citato ha realizzato lavori migliori rispetto ad un autore mediamente citato”.
