Idee per una valutazione condivisa del sistema universitario

Il comitato di indirizzo per la valutazione della ricerca ha da poco reso pubblici i risultati di un lavoro di monitoraggio e valutazione dei prodotti di ricerca realizzati da tutti gli atenei italiani. Alcune conferme, molte sorprese.

di Massimiliano Tarantino

In base ad una serie di fattori, di confronti e di giudizi ne è risultata la classifica di produttività delle Università, suddivise in tre distinte classifiche in base alle loro dimensioni. Nel merito la ricerca propone anche una suddivisione per aree scientifiche di riferimento. Durata più di due anni e costata complessivamente una cifra attorno ai quattro milioni di euro, l’iniziativa del Civr ha suscitato un notevole interesse nel mondo accademico e nell’opinione pubblica. Chi l’ha accolta con favore non ha nascosto soddisfazione per esservi presente in posizioni di rilievo, chi l’ha criticata talora ha manifestato perplessità su lacune che dovrebbero essere colmate o sistemi di base inaffidabili per un’operazione che potrebbe avere ripercussioni anche sulla distribuzione dei finanziamenti ministeriali. Altri ancora, pur essendo stati beneficiati da un buon giudizio complessivo, hanno criticato il metodo e la credibilità del risultato. Gli esiti del lavoro Civr hanno fatto dire al Ministro Moratti che “la ricerca italiana mostra risultati di qualità”. Sono stati valutati 17329 prodotti di ricerca relativi al biennio 2001/2003 proposti da 102 diverse strutture. Il metodo utilizzato è stato quello del peer review, giudizio tra pari, dove docenti, ricercatori, esperti dei vari settori hanno attribuito un voto ad ogni singolo lavoro da un minimo di 0 ad un massimo di 1.

NormaleNews mette a disposizione dei suoi lettori una serie di fonti e di commenti utili ad una comprensione mirata e completa degli esiti del lavoro Civr.

Oltre al link diretto ai risultati ( http://www.vtr2006.cineca.it ), viene proposta una serie di opinioni di alcuni dei docenti della Normale di Pisa, il matematico Luigi Ambrosio, il fisico Riccardo Barbieri e lo storico della logica Massimo Mugnai.

Di seguito inoltre il discorso che il prof. Salvatore Settis tenne nel 2003 all’Accademia Nazionale dei Lincei dal titolo “Valutare la Normale di Pisa: ricerca e didattica, autonomia e responsabilità”.

Nella sezione Approfondimenti sono messi a disposizione quattro articoli, tre dei quali provenienti dal sito la voce.info che ha sviluppato in queste settimane un’attenta riflessione sull’argomento, e l’analisi del professor Francesco Gavazzi, che il Corriere della Sera ha proposto lo scorso 13 febbraio con il titolo “Il coraggio di coltivare le eccellenze”.

Tre punti essenziali per migliorare la valutazione

Prof. Luigi Ambrosio, Analisi Matematica

1. Sulla valutazione dei prodotti il mio unico commento, anche alla luce della mia esperienza come valutatore, e’ che la distinzione buono/eccellente era troppo sfumata e per certi versi arbitraria. Purtroppo questa, e solo questa, ha giocato un ruolo nella formazione delle graduatorie. Sarebbe stato utile fornire ai valutatori (che, mi sembra, in media abbiano avuto 15-20 prodotti da vagliare) una stima di massima del numero di quelli da ritenere eccellenti. Questo perche’ ognuno di noi, immagino, ha formato la propria scala dei valori proprio rispetto ai prodotti che doveva valutare, piu’ che rispetto a una (piu’ astratta) valutazione di qualita’ in riferimento a tutta la letteratura del settore.

2. E’ chiaro che per strutture medio/grandi la legge dei grandi numeri gioca a favore del processo di valutazione e produce, anche non tenendo conto dei problemi espressi nel punto 1, un risultato ragionevole. Ma per piccole strutture e’ proprio il contrario, e le fluttuazioni statistiche sono significative. Se proprio non si vuole aumentare il numero minimo dei prodotti (ma un solo prodotto non dovrebbe essere ammissibile ai fini della formazione della graduatoria, vedi i casi di Benevento (matematica) e Foggia (fisica)), un modo per rendere statisticamente piu’ robusto il processo potrebbe essere quello di tenere conto delle caratteristiche specifiche del settore e, in particolare, di fare uso dell’IF per le discipline che ne sono fornite.

3. A questo riguardo, mi sembra chiaro che probabilmente non esiste, data come input la valutazione dei prodotti, una formula valida per tutte le discipline (si pensi anche al numero medio di coautori, fortemente variabile per disciplina). Probabilmente i singoli panel di area avrebbero prodotto algoritmi molto piu’ equilibrati se interpellati in proposito, senza poi trovarsi di fronte a sorprendenti classifiche che difficilmente essi stessi potrebbero sottoscrivere.

Come utilizzare queste classifiche per un’attribuzione efficace e non a pioggia delle risorse finanziarie?

prof. Riccardo Barbieri, Fisica Teorica

Premetto che, secondo me, un sistema efficace di valutazione della ricerca scientifica e’ oggi indispensabile. Penso anche che non sia di facile attuazione e messa a punto. Infine lo considero utile se ha, fra l’altro, conseguenze significative nell’attribuzione dei finanziamenti per la ricerca. Stante queste premesse, ci si puo’ rallegrare dello sforzo messo in atto dal MIUR, sfociato nella pubblicazione dei risultati per il triennio 2001/03 (anche se nel 2006). I criteri di valutazione e, in generale, il risultato dell’operazione sono soddisfacenti? Secondo me delle riserve esistono, ma non attengono al fatto se sia o meno giusto basarsi sul numero delle citazioni che un autore riceve e/o sul fattore d’impatto delle riviste su cui pubblica. Ritengo questi criteri utili, i quali vanno comunque temperati dal giudizio complessivo di esperti competenti e indipendenti.

Il limite principale dell’esercizio attuale sta invece nel tentativo di classificare complessivamente intere strutture sulla base di un numero limitato di “prodotti”. (Desumo dal bando: al piu’ un prodotto ogni sei anni per ricercatore di un Ente di ricerca o uno ogni dodici anni per professore o ricercatore universitario in media, e sottolineo in media.) E’ evidente a priori, mi sembra, che un criterio di questo tipo non e’ sufficientemente discriminante e da’ luogo a classifiche con molte strutture vicine alla percentuale massima del punteggio, distinte solo dalla seconda cifra decimale. Paradossalmente una struttura “piccola” o anche “media” puo’ fare un figurone con un unico ricercatore particolarmente attivo. Oppure una grande struttura puo’ permettersi un gran numero di ricercatori del tutto improduttivi, purche’ opportunamente imboscati.

Come si fara’, mi domando, ad utilizzare queste classifiche per un’attribuzione efficace e non a pioggia delle risorse finanziarie? In realta’ sono piuttosto scettico sul fatto che la qualita’ della ricerca di un’intera struttura sia affatto valutabile in questo modo integrato. Si possono e si devono invece valutare i singoli gruppi di ricerca in un contesto nazionale ed internazionale omogeneo a ciascuno di loro.

Un sistema di pesi che tenga conto di quantità e qualità

Prof. Massimo Mugnai, Storia della logica, preside Classe di Lettere

Riguardo alla questione della valutazione del CIVR, l’idea che mi sono fatto è la seguente.

Penso che l’iniziativa sia da approvare e che si tratti di proseguire, nel futuro, per la strada intrapresa. A quanto ho potuto vedere, le discipline afferenti agli studi umanistici interne alla Scuola hanno avuto un buon giudizio. E, in generale, la valutazione, più o meno, “coglie nel segno”.

Per quello che mi riguarda, sono particolarmente soddisfatto per i risultati ottenuti dai filosofi, che hanno avuto il “massimo dei voti”. Naturalmente, si potrebbe osservare che l’Istituto San Pio ha conseguito il nostro medesimo risultato, cosicché figuriamo a pari merito nella tabella: noi però abbiamo presentato 4 prodotti, contro un unico prodotto del San Pio. Ciò significa che i valutatori hanno attribuito il massimo voto a ciascuno dei 4 filosofi della Scuola che hanno presentato i lavori. Ciò però mi permette di rilevare subito un problema: se ho ben capito, le Università che puntavano più lavori rischiavano di più di quelle che ne presentavano meno. Credo che questa sia una stortura a cui porre rimedio in seguito: basterebbe escogitare un sistema di pesi che tenesse conto del rapporto tra quantità (numero dei prodotti presentati) e qualità (livello scientifico dei medesimi). Anche la divisione delle Facoltà in base alle loro dimensioni, mi sembra non funzioni: una Facoltà grande che produce pochi risultati buoni oppure tanti ma mediocri, dovrebbe comunque avere un punteggio più basso di una piccola che produce pochi risultati eccellenti. E credo che le due strutture possano e debbano essere raffrontabili.

Nel caso degli studi umanistici, la valutazione dei prodotti è legata ad annose e mai del tutto risolte questioni. Non so come siano stati valutati gli articoli su riviste, ed è probabile che queste mie osservazioni si fondino su presupposti errati. Credo fermamente però che le riviste con referee anonimo dovrebbero avere, anche nel nostro settore, un punteggio più alto. Lo stesso vale per i saggi che vengono editi a spese del Dipartimento o usando fondi ministeriali di vario tipo: credo che questi prodotti dovrebbero avere un punteggio più basso, rispetto a quelli che sono pubblicati senza l’ausilio di fondi.

Infine, due parole su quanto asserito dai “saggi” nella valutazione finale concernente gli studi di filosofia. Che gli studi di storia della filosofia, in Italia, siano di qualità eccellente rispetto agli altri, fa parte della nostra tradizione ed è ragionevole. Che però gli studi (letteralmente) “sull’esistenzialismo” siano all’avanguardia, per quello che concerne le ricerche teoriche, mi sembra curioso. E ciò per 2 motivi: di esistenzialismo non si occupa quasi più nessuno ormai nel mondo e pochissimi in Italia. Sarebbe interessante vedere su cosa si fonda il parere degli esperti.

Approfondimenti