Valutazione? Beh, dipende

E’ una cosa ben nota che una delle attività più importanti in un paese che vuol dirsi sviluppato sia la attività di ricerca scientifica che vi viene svolta. Ricerca sia di base sia applicata. La ricerca scientifica è in gran parte finanziata dallo Stato, soprattutto per quei settori nei quali non si possono avere delle immediate ricadute applicative ed economiche, basti pensare alle discipline umanistiche, ma non solo, un altro esempio è la matematica. Venendo al caso dell’Italia da alcuni anni si è venuta in parte esaurendo quella pratica di finanziamento alla ricerca che si chiamava “finanziamenti a pioggia”. Nel senso che, soprattutto a livello delle singole università, si tendeva a dare praticamente a tutti quelli che facevano domanda dei finanziamenti, molto esigui peraltro. In questo modo si evitavano discussioni all’interno delle singole discipline, e coloro che venivano scelti per distribuire le risorse non dovevano troppo discutere del valore delle singole richieste, non dovendo in pratica escludere nessuno. Ovviamente in questo modo tutte le ricerche erano di fatto messe sullo stesso piano, buone o cattive che fossero. Da qualche anno questa pratica deleteria è terminata, o almeno così dovrebbe essere. Sono stati messi in piedi comitati di valutazione per esaminare le richieste di finanziamento, per entrare nel merito delle domande, per dare giudizi e quindi escludere chi non ha presentato richieste di finanziamento interessanti dal punto di vista scientifico e adeguate dal punto di vista finanziario.

Tutto bene allora? Resta sullo sfondo la grande questione della esiguità in termini assoluti dei fondi messi a disposizione. Uno dei canali privilegiati per finanziare la ricerca nelle università italiane sono i progetti PRIN, le ricerche di interesse nazionale. Di cui si dice stiano per essere del tutto cancellati. Un modo che da sempre è stato usato negli ultimi anni per risparmiare fondi da destinare alla ricerca scientifica è molto semplice ed efficace. Supponiamo che in un certo anno si pubblichi il bando per le richieste di fondi di ricerca nel mese di giugno. I fondi saranno assegnati nell’estate dell’anno successivo e quindi si avrà l’accortezza di pubblicare il bando per le nuove domande per esempio in dicembre, e i fondi saranno assegnati l’anno ancora dopo in dicembre. Insomma ogni due anni, ritardando accuratamente le date dei bandi, si risparmia un anno di finanziamenti. Ora la situazione è stata ancora migliorata! L’ultimo bando del PRIN è del 2009. I fondi sono stati assegnati nel settembre 2011 e dovrebbero essere accreditati alle università in ottobre 2011. In altre  parole due anni dopo il bando, e nel frattempo nessun altro bando è stato fatto. E come dicevo sembra che il PRIN sarà abolito.

Ma torniamo al problema della distribuzione dei fondi sulla base della valutazione dei progetti presentati. E’ interessante a questo proposito andare a leggere che cosa ha scritto la commissione di garanzia che ha controllato gli atti delle diverse commissioni disciplinari che dovevano assegnare i fondi per il PRIN 2009. La commissione si è riunita nel giugno del 2011 e, come si legge nel verbale pubblico della seduta, “nel procedere alla definizione della graduatoria per aree scientifiche, la commissione si è attenuta ai criteri che hanno ispirato il Bando PRIN 2009 ed alle norme che si possono ricondurre al fondamentale obiettivo di concentrare le risorse disponibili sui progetti di ricerca “eccellenti”, evitando il finanziamento a pioggia” .

E così la commissione ha innanzitutto deliberato, all’unanimità, di finanziare tutti i progetti, per ciascuna area, valutati con 60 e 59 dalle singole commissioni disciplinari: matematica, fisica, biologia, scienze umane ecc. Il punteggio massimo che si può assegnare a ogni domanda di finanziamento è infatti 60. Si arriva al punteggio totale assegnando punti per diversi aspetti della domanda: originalità, fattibilità, esperienza internazionale del coordinatore ed altre voci. Ora, nel fare questo la commissione di garanzia si accorge che “quattro Aree (1, 4, 13 e 14) sono risultate al di sotto della ”soglia di garanzia” del 3% delle risorse. La commissione, pertanto, ha deliberato, all’unanimità, di finanziare i progetti, per ciascuna di tali Aree, con valutazione inferiore a 59 fino al raggiungimento della prescritta soglia del 3%”.

Insomma, nelle aree di Matematica, Scienze della terra, Economia e statistica, e Scienze politiche e sociali le richieste “eccellenti” sono inferiori alla soglia minima ragionevole per la sopravvivenza della ricerca in quei settori. Perché? Forse perché sono state fatte poche domande di finanziamento? O perché le commissioni disciplinari di quelle aree sono state troppo severe? Per cercare di rispondere a queste domande la commissione “prende in considerazione il problema del finanziamento dei numerosi progetti con il punteggio di 58 in tutte le altre Aree (diverse dalle 4 indicate al di sotto della soglia del 3%)”. La commissione, nel procedere a tale esame, si accorge “di una forte disomogeneità della valutazione dell’eccellenza nelle diverse aree: in alcune aree scientifiche infatti la percentuale dei progetti valutati con 60 e 59 è stata tanto più elevata da non poter essere giustificata soltanto con la corrispondente maggiore presenza in quelle aree di progetti eccellenti”.

In alcune aree coloro che dovevano valutare hanno considerato i progetti, del tutto giustamente ovviamente, meritevoli del punteggio massimo. Inoltre, aggiunge la commissione di garanzia, alcune aree (Fisica, Chimica, Agraria e veterinaria, Ingegneria civile e Architettura, Ingegneria Industriale e dell’informazione) presentavano da un lato una diminuzione percentuale delle risorse attribuite a ciascuna con il finanziamento dei soli progetti con 60 e 59 rispetto agli anni precedenti, in presenza di analoghi numeri di progetti presentati, talmente consistente da non poter essere giustificata soltanto da una eccezionale corrispondente minore presenza, quest’anno, di progetti di livello eccellente, ma anche con la rilevata forte disomogeneità della valutazione dell’eccellenza nelle diverse aree; dall’altro, a conferma di detta evidente disomogeneità, una concentrazione di progetti con punteggio compreso tra 54 e 57 significativamente superiore alla media delle altre aree.

La commissione ritiene anomala la situazione, evidentemente alcune commissioni disciplinari sono state severe nel giudizio mentre altre meno. A quel punto per riequilibrare: “la commissione, sulla base all’unanimità, ha deliberato di distribuire le risorse residue (dopo l’approvazione di tutti i progetti con punteggio pari a 59 e 60 e dopo l’operazione relativa alle Aree sotto il 3%) mediante l’inserimento, tra i progetti ammessi a finanziamento, dei progetti con punteggio pari a 58 limitatamente alle Aree 2, 3, 7, 8 e 9 privilegiando, fra tutti i 58 di queste 5 aree, i soli progetti che abbiamo ricevuto un punteggio pari a 30 sul criterio più rilevante, quello relativo alla innovatività e originalità del progetto”.

La commissione di garanzia, alla fine dei lavori ritiene di dover insistere sulla questione dei punteggi, e scrive nella sua relazione al Ministro: “La Commissione, tuttavia, nell’applicare in modo rigoroso e trasparente detti criteri e norme, ha dovuto prendere atto di una forte disomogeneità della valutazione dell’eccellenza nelle diverse aree. Ci sono state così aree nelle quali la percentuale di progetti valutati con 60 e 59 è stata tanto elevata da non poter essere giustificata soltanto dalla corrispondente maggiore presenza in quelle aree di progetti eccellenti. Ciò ha comportato il sacrificio di alcuni progetti, certamente qualificabili eccellenti, ma appartenenti ad aree con metodo di valutazione tendenzialmente più restrittivo. D’altra parte, la commissione non ha avuto a disposizione strumenti per bilanciare tali disomogeneità di valutazione. La commissione pertanto si permette di sottoporre alla Sua valutazione (del Ministro n.d.r.) il suggerimento di introdurre, nel prossimo bando PRIN, un criterio che, anche alla luce della nuova legge di riforma, consenta in futuro alla Commissione di Garanzia di porre rimedio a detta criticità”.

Nulla da aggiungere, se non che le discipline a cui si riferisce la commissione di garanzia con la frase “Ci sono state così aree nelle quali la percentuale di progetti valutati con 60 e 59 è stata tanto elevata da non poter essere giustificata soltanto dalla corrispondente maggiore presenza in quelle aree di progetti eccellenti” sembrerebbero essere (meglio andare cauti nei giudizi anche riportando solo l’opinione di altri): Biologia, Medicina, le Discipline umanistiche e le Discipline giuridiche.

Viva la valutazione!

2 Commenti

  1. La ragione è semplice. Ci sono aree in cui ci si è coalizzati per assegnare punteggi alti perché diversamente non avrebbero avuto fondi da altri progetti. Altre aree invece ci si è dati la zappa sui piedi per non favorire nessuno all’interno della stessa area. Gli italiani sanno sempre essere furbi e stupiti.

  2. Furbizia e stupidità non c’entrano. Posto che nessun sistema di valutazione è perfetto, qua il problema è la congiunzione di (a) retorica dell’eccellenza, (b) esiguità dei finanziamenti, (c) consapevolezza che il problema non è solo di risultare finanziabili, ma di essere poi effettivamente finanziati, nel senso che i soldi sono così pochi che non tutti i progetti ammessi al finanziamento poi lo ricevono davvero, (d) indipendenza, anzi separatezza tra i diversi referaggi, anche all’interno della stessa area; voglio dire, ogni referee o coppia di referee opera senza sapere cosa stiano facendo gli altri referee dell’area e men che meno i referee delle altre aree.

    Dove i referee operino in modo ragionevole, è ovvio che il combinato disposto di questi fattori tenda a spingere i punteggi verso l’alto. Sapendo che le volte scorse sono stati finanziati solo i progetti superiori al 59.9 periodico o qualcosa del genere, qualunque referee ragionevole che si trovi davanti un bel progetto tenderà a dargli 60, anche se magari in condizioni normali gli avrebbe dato, che so, 58 o 55. Se i referee sapessero che la soglia per avere il finanziamento non è 59.9 ma qualcosa di più sensato, i progetti risulterebbero distribuiti molto meglio lungo l’asse dei punteggi.

LASCIA UN COMMENTO

Please enter your comment!
Please enter your name here