La valutazione della ricerca ed i suoi oppositori

Alberto Baccini(Dipartimento di economia politica e statistica, Università di Siena; Redazione Roars)

Bologna, 6 maggio 2016

Le origini della valutazione della ricerca La politica universitaria di Margareth

Thatcher UK: RAE 1986 «it was Leninism» (S. Jenkins, Thatcher

and Sons)

Il cattivo disegno dell’ANVUR

Struttura napoleonica: controllo ministeriale centralizzato

Agenzia plenipotenziaria di valutazione (ANVUR): tutte le attività di valutazione della ricerca «assicurazione della qualità» della didattica performance della macchina amministrativa delle

università Sistema sbilanciato governato da una élite (di

nomina politica) Il sistema attuale attribuisce indirettamente alla politica

e ad una ristretta élite «organica» ad ANVUR, un potere senza contrappesi su università e ricerca

Errori nel disegno

Consiglio direttivo direttamente operativo

Rischio (realizzato) di inadeguatezza tecnica Modalità di nomina del consiglio

direttivo Dipendente dal ministro Filtraggio inadeguato

Attività governate con scelte top-down Es. Gruppo di esperti di valutazione di economia

per VQR

Stenografico della Commissione cultura della Camera del 24 settembre 2015Francesco D’UVA (M5S) annuncia che i deputati del suo gruppo non parteciperanno alle votazioni sulle proposte di nomina. Rileva, in particolare, relativamente alla nomina del professor Miccoli, che il voto contrario è dovuto al fatto che, come documentato su www. roars.it, le linee programmatiche di Miccoli contengono estratti letterali – non virgolettati – provenienti da quattro testi di altri autori da lui non citati:1.Evarita D’Archivio, “La riforma Brunetta e la realtà dell’università” su Altalex, 2010,2.Eliana Minelli, Gianfranco Rebora, Matteo Turri, “Valutare o misurare i risultati? Il caso dell’università” su LIUC papers 2005,3.S. Cesaratto, S. Avveduto, M. C. Brandi, Antonella Stirati “Il Brutto Anatroccolo. Il Dottorato di ricerca in Italia fra università, ricerca e mercato del lavoro”. Franco Angeli 1994.4.Andrea Bonaccorsi, Presentazione al XII Convegno Codau, 2014. Ritiene dunque non accettabile che chi, nella scrittura delle sue linee programmatiche, abbia fatto uso letterale, non citando il materiale altrui, possa essere nominato a far parte del Consiglio di gestione dell’ANVUR.

Bisin Alberto New York University GEV 13Terlizzese Daniele  BDI GEV 13Schivardi Fabiano Università di Cagliari GEV 13 2015Peracchi Franco (candidato Lazio) Università di Roma Tor Vergata GEV 13

Dagnino Giovanni Università di Catania GEV 13Federico Giovanni European University Institute GDLBottazzi Laura Università di Bologna GEV13Dardanoni Valentino Università di Palermo GEV13Francesca Cornelli (garante!) London Business School GEV13Giorgio Brunello (sostenitore) Università di Padova GEV13Sandro Brusco New York University GEV 13 2015Gianni De Fraia Univ. of Nottingham GEV 13 2015Francesco Lippi Univ. Sassari GEV 13 2015

Troppe competenze per una sola agenzia

Costi del direttivo

In prima pagina sul Corriere

Le riviste pazze alla ribalta internazionale

S. Fantoni: «il Paese possiede una fotografia dettagliatissima e, soprattutto, certificata

della qualità della ricerca italiana» (ANSA, 17.7.2013)

Dati VQR non comparabili tra aree diverse

Font

e: r

appo

rto

final

e p.

7

40%

25%

14%

21%

22%

21%

13%

44%

«Vincere facile»

1

0,8

0,5

0

1

0,8

0,5

0

40%

25%

14%

21%

22%

21%

13%

44%

«Vincere facile»

Ingegneria Industriale e

dell’Informazione

ScienzeMediche

I bersagli veri cambiano da area ad area e sono molto diversi dal bersaglio teorico

La bibliometria pedagogica dell’ANVUR

pedagogica

Schu

ltz, D

. M. (

2010

). "R

ejec

tion

Rat

es fo

r Jo

urna

ls

Publ

ishi

ng in

the

Atm

osph

eric

Sci

ence

s."

Bul

letin

of t

he

Amer

ican

Met

eoro

logi

cal S

ocie

ty 9

1(2)

: 231

-243

.

Kurm

is, A

. P. a

nd T

. P. K

urm

is (2

006)

. "E

xplo

ring

the

rela

tions

hip

betw

een

impa

ct fa

ctor

and

man

uscr

ipt r

ejec

tion

rate

s in

rad

iolo

gic

jour

nals

." A

cade

mic

rad

iolo

gy 1

3(1)

: 77-

83.

Top journal!

Gaming

Qualcosa sta cambiando …

Adozione di standard metodologici adeguati

http://am.ascb.org/dora/12.735 sottoscrittori individuali; 590 organizzazioni

Le raccomandazioni di DORA

«Non usare metriche riferite alle riviste, come i fattori di impatto della rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per valutare i contributi del singolo scienziato, o per decisioni relative ad assunzioni, promozioni e finanziamenti»

Tre i temi:1. la necessità di valutare la ricerca per i suoi propri meriti

e non sulla base della rivista su cui è pubblicata;2. la necessità di sfruttare al meglio le opportunità fornite

dalla pubblicazione on-line (riducendo per esempio i limiti non necessari imposti del numero di pagine, figure e riferimenti bibliografici negli articoli, e esplorando nuovi indicatori di importanza e impatto)”

Il contenuto è più importante del luogo di pubblicazione (DORA)1. rendere espliciti i criteri usati per valutare la produttività

scientifica e per le decisioni di assunzione, tenure e promozione, e sottolineare chiaramente, specialmente per i giovani ricercatori, che il contenuto scientifico di un articolo è molto più importante delle metriche della pubblicazione e dell’identità della rivista nel quale è pubblicato.

2. considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle pubblicazioni, e considerare un ampio insieme di misure di impatto che includono indicatori qualitativi dell’impatto della ricerca, come l’influenza sulle politiche e sulle pratiche.

Grazie per l’attenzione…