un sistema di supporto alla valutazione della ricerca in italia: ssv-orp

“UN SISTEMA DI SUPPORTO ALLA
VALUTAZIONE DELLA RICERCA IN
ITALIA: SSV-ORP”
Giovanni Abramo
CNR
e
Laboratorio di Studi sulla Ricerca e il
Trasferimento Tecnologico
Università degli Studi di Roma “Tor Vergata”
Dipartimento di Ingegneria dell’Impresa

Articolazione
La valutazione della ricerca: stato
dell’arte
La valutazione nazionale
La valutazione delle singole istituzioni
Il sistema di supporto alla valutazione
SSV-ORP
2

Perché valutare la ricerca?
Allocazione più efficiente delle risorse
Stimolo a migliorare la produttività di
ricerca
Demonstrating that investment in
research is effective and delivers public
benefits
Reducing information asymmetry
between supply and demand
3

Come valutare la ricerca?
Metodo peer review
Metodo bibliometrico (scienze dure)
Metodo informed peer review
(scienze dure)
Metodo SSV-ORP (scienze dure)
4

Peer Review vs Bibliometria
È migliore la valutazione di qualità di due esperti o
dell’intera comunità scientifica mondiale?
(Precisione)
È migliore la valutazione di tutto l’output di ricerca o
di una quota soltanto? Le classifiche di performance
sono sensibili alla dimensione della quota?
(Robustezza)
Le università sottomettono a valutazione i prodotti
migliori? (Affidabilità)
Che informazioni fornisce alle università la
valutazione nazionale peer-review? (Funzionalità)
Quante risorse consuma? (Costi e tempi) 5

UDA
Robustezza: sensibilità alla quota
VTR
products
Of which
WoS publications (a)
Total
publications
Mathematics and computer science 751 711 (94.7%) 6,722 10.6%
Physics 626 596 (95.2%) 12,919 4.6%
Chemistry 758 712 (93.9%) 8,991 7.9%
Earth science 323 303 (93.8%) 3,827 7.9%
Biology 1,279 1,239 (96.9%) 8,103 15.3%
Medicine 2,644 2,574 (97.4%) 27,577 9.3%
Agriculture and veterinary science 617 571 (92.5%) 2,650 21.5%
Industrial and information engineering 909 807 (88.8%) 13,500 6.0%
Total 7,907 7,513 (95.0%) 84,289 8.9%
FONTE:
Abramo G., D’Angelo C.A., Caprasecca A., 2009. Allocative efficiency in public research funding:
can bibliometrics help? Research Policy, Vol. 38, n. 1, 206-215
(b)
a/b
6

Sensibilità delle classifiche alla quota
Mediana e intervallo di variazione (max – min) del ranking di Fisica, al variare della quota (4,6% - 60%)
7

Affidabilità: efficacia della
selezione dei prodotti per il VTR
Percentuale di articoli selezionati dalle università
con IQ inferiore alla mediana della
distribuzione:
Agricoltura e veterinaria 29,6%
Ingegneria industriale e dell’inform. 26,5%
Matematica e informatica 24,8%
8

Efficacia della selezione dei prodotti
di Unialpha per il VTR
Confronto pubblicazioni in portafoglio – pubblicazioni
presentate al CIVR
Area disciplinare
Articoli
CIVR
Di cui censiti
in ORP
Prodotti
SCI
Censiti in SCI
con IQ
maggiore
Scienze matematiche 22 22 242 12
Scienze fisiche 17 16 497 8
Scienze chimiche 8 7 296 4
Scienze biologiche 38 35 440 20
Scienze mediche 92 87 996 59
Ingegneria civile e architettura 8 7 14 4
Ing. Industriale e dell'informazione 14 12 289 11
9

Peer Review
Impossibile misurare la produttività;
Classifiche fortemente sensibili alla quota
dei prodotti valutati
Valutazione comparata di qualità non
basata sui prodotti migliori
Nessuna informazione alle università per
allocare a loro volta le risorse in base al
merito
Costi (diretti e indiretti) e tempi enormi
10

Poco Preciso
Poco Robusto
Peer Review
Poco Affidabile
Poco Funzionale
Molto Costoso
11

Il sistema “SSV-ORP”
Struttura di raccolta-catalogazione-elaborazione dati per:
il censimento del personale di ricerca e dell’output
scientifico (pubblicazioni e proceedings) e tecnologico
(brevetti) del sistema di ricerca pubblico nazionale;
la classificazione dei prodotti di ricerca per autore, subject
category ISI, settore scientifico disciplinare (SSD), area
disciplinare (ADU), università/EPR;
il posizionamento delle singole università/EPR in funzione
della loro produzione, della qualità della stessa e della
produttività a vari livelli di aggregazione (scientist, gruppi di
ricerca, dipartimento, SSD, ADU, ateneo/EPR).
E’ un Decision Support System (DSS)!!!!!
12

Il campo d’osservazione
Fonti: Science Citation Index expanded®, Social Science
Citation Index®, Art&Humanities Citation Index®,
Conference Proceedings® (WoS -Thomson Reuters), circa
9.000 riviste; Espacenet.
Tutte le Università (82), tutti gli Epr (76), 196 enti
ospedalieri.
272.000 pubblicazioni, 100.000 proceeding, 1.600
brevetti.
310.000 (65.000 universitari) autori.
Tutte le 246 categorie ISI, tutti i 370 settori universitari
(scientifico-tecnologici, economico-sociali e artisticoumanistici);
14 aree disciplinari.
Intervallo di osservazione 2001-2008, aggiornato
annualmente (2001/2007 per i brevetti).
13

ORP: un’innovazione research-based
“la post-codifica dei dati”
Affiliation unification
Authors’ name disambiguation
14

Il valore di ORP
In riferimento a un dataset di pubblicazioni
WoS (18,000), di ricercatori di chimica
(700) in 10 università olandesi, Van Raan
(2008) afferma:
“This material is quite unique. To our
knowledge, no such compilations of very
accurately verified publication sets on a
large scale are used for statistical analysis
of the characteristics of the indicators at the
research group level”.
15

ORP per la valutazione
Misura la qualità normalizzata di ciascun output scientifico
(citazioni, IF normalizzati)
Associa ciascun prodotto di ricerca al suo autore (errore 5%)
Misura la produttività del singolo (quantitativa, qualitativa,
contributiva), gruppo di ricerca, dipartimento, SSD, ADU,
ateneo/EPR.
Stila classifiche di performance comparata di ciascun
ricercatore, gruppo di ricerca, …
Stila classifiche di performance per livello d’inquadramento
Individua gli improduttivi e stila classifiche per tasso di
concentrazione di improduttivi
Stila classifiche relative ai soli produttivi
Individua i top-performer e stila classifiche per tasso di
concentrazione di top-performer (eccellenza)
16

ORP per la valutazione
Stila classifiche per intensità di collaborazione comparata
extra-muros: con organizzazioni estere, con imprese, con altre
università e istituzioni pubbliche di ricerca;
Stila classifiche per intensità di collaborazione comparata
intra-muros: intra-settoriale, intra-area, inter-area;
Analizza l’impatto della mobilità sul potenziale di
performance di Ateneo;
Conduce analisi intertemporali;
Supporta le università nel processo di selezione CIVR.
17

Gli indicatori (1/2)
Output (O), somma delle pubblicazioni riferibili all’entità (autore, istituzione)
in un dato settore;
Output contributivo (Oc), somma dei contributi delle singole “entità” a
ciascuna pubblicazione in ciascun settore;
Intensità di contribuzione (IC), rapporto tra Output contributivo e Output;
Indice di qualità (IQ), qualità* media normalizzata delle pubblicazioni riferibili
all’entità;
Forza scientifica (FS), prodotto dell’output per l’indice di qualità;
Forza scientifica contributiva (FSc), analoga all’output contributivo ma riferita
alla forza scientifica;
Indice di Hirsch, (h-index). Numero massimo “h” di pubblicazioni con almeno
h citazioni ciascuna.
Indice di Egghe, (g-index). Numero massimo “g” di pubblicazioni che ricevono
cumulativamente almeno g 2 citazioni.
* Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto all’intensità di
citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.
18

Gli indicatori 2/2
Produttività (P) rapporto tra output e numero di addetti nel settore;
Produttività Qualitativa (PQ), rapporto Forza scientifica e numero di addetti
nel settore;
Produttività contributiva (Pc) e Produttività Qualitativa contributiva (PQc),
rapporto tra output contributivo (Forza scientifica contributiva) e numero di
addetti nel settore.
Indice di eccellenza (IE), numero di addetti al top 10% sul totale degli addetti
in un SSD
Tasso di improduttività (TI), numero di addetti non produttivi sul totale degli
addetti in un SSD
…
19

La valutazione dei singoli ricercatori
Il ranking percentile nazionale dei ricercatori in forza al Dipartimento
di “Biopatologia” di UNIalpha (2004-2007)
Nome Ruolo SSD O Oc FS FSc
Tizio Caio 1 Ass. MED/03 37 25 22 23
Tizio Caio 2 Ord. MED/08 75 59 61 58
Tizio Caio 3 Ord. MED/15 42 23 23 27
Tizio Caio 4 Ord. MED/30 52 37 39 41
Tizio Caio 5 Ric. MED/36 23 13 6 11
Tizio Caio 6 Ass. BIO/14 50 36 38 38
Tizio Caio 7 Ass. MED/08 83 72 70 64
Tizio Caio 8 Ord. FIS/07 74 56 62 55
Tizio Caio 9 Ric. MED/15 54 35 40 44
Tizio Caio 10 Ass. BIO/14 25 23 18 20
Tizio Caio 11 Ric. MED/15 28 25 27 22
Tizio Caio 12 Ric. MED/30 38 22 20 21
Tizio Caio 13 Ric. FIS/07 27 25 15 17
Tizio Caio 14 Ric. MED/36 83 70 70 67
Tizio Caio 15 Ric. MED/36 31 13 13 13
Tizio Caio 16 Ord. BIO/13 86 72 69 75
Tizio Caio 17 Ord. MED/30 95 83 75 77
Media 53 41 39 40
20

La valutazione dei dipartimenti
Il rating medio e il rank dei dipartimenti dell’area medica
di UNIalpha
O Oc FS FSc
Dipartimento Addetti Rating Rank Rating Rank Rating Rank Rating Rank
Biopatologia e diagnostica per immagini 17 53 10 41 12 39 12 40 12
Chirurgia 41 77 1 72 1 68 2 71 1
Farmacobiologico 43 77 1 70 2 72 1 68 2
Medicina del lavoro 31 50 12 43 10 44 10 41 11
Medicina interna 26 54 9 44 9 44 10 46 9
Medicina sperimentale 40 60 7 53 7 53 7 52 7
Neuroscienze 25 66 3 60 3 58 5 57 6
Ricerche biomediche 35 45 13 37 13 39 12 36 13
Sanita' pubblica e biologia cellulare 31 52 11 43 10 45 9 46 9
Scienze chirurgiche 34 65 4 60 3 59 3 58 3
Scienze del movimento umano e dello sport 26 64 6 57 5 55 6 58 3
Scienze odontostomatologiche 40 65 4 57 5 59 3 58 3
Scienze oftalmologiche 36 58 8 52 8 51 8 50 8
21

La valutazione dei settori (SSD)
I settori di “Scienze matematiche e informatiche” di UNIalpha
P PQ
Settore v.a. Rank Rank (%) v.a. Rank Rank (%)
MAT/01 - Logica matematica 1,007 11 79 1,910 12 76
MAT/02 - Algebra 0,525 34 25 1,784 15 67
MAT/03 - Geometria 0,863 18 63 1,734 16 66
MAT/04 - Matematiche complementari 0,646 28 33 0,946 33 21
MAT/05 - Analisi matematica 0,592 31 19 2,015 10 74
MAT/06 - Probabilità e statistica 0,519 33 4 1,161 28 16
MAT/07 - Fisica matematica 0,764 22 36 2,026 10 72
MAT/08 - Analisi numerica - - - - - -
MAT/09 - Ricerca operativa 0,286 31 26 0,974 38 15
INF/01 - Informatica 0,945 12 77 1,953 10 82
* Replicabile per Pc e PQc
22

La produttività di area (ADU) a
partire dai dati di settore (SSD)
P ( j)
=
n
j
∑
i=
1
Tot−k n
Pnik
Pn Add
j
∑
i=
1
ik ik
Add
ik
P ( j)
= global productivity score for university k in area j;
Tot− k
= productivity in university k, in sector i (of area j), normalized to the
average of the values of all universities;
Add ik = number of researchers operating in sector i (of area j) of university k;
n j=
number of sectors within area j
23

La valutazione delle aree (ADU)
Le ADU di UNIalpha
P PQ Pc PQc
v.a. rank% v.a. rank% v.a. rank% v.a. rank%
ADU 1 0,559 33 0,863 48 0,487 25 1,100 48
ADU 2 1,011 83 0,870 77 1,146 92 1,513 92
ADU 3 0,575 62 0,884 75 0,896 67 1,456 83
ADU 4 0,378 17 0,647 32 0,878 48 1,451 48
ADU 5 0,213 4 0,228 4 0,549 4 0,653 4
ADU 6 0,339 8 0,359 17 0,132 8 0,196 17
ADU 7 1,781 100 1,117 92 0,608 92 0,178 78
ADU 8 1,002 75 0,968 83 1,151 100 1,646 100
ADU 9
…
0,753 67 0,838 50 1,073 83 1,277 67
24

ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo Riferimenti Settore Citazioni
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
ECOLOGY 32
Ecological conditions during winter
predict arrival date at the breeding
quarters in a trans-Saharan migratory bird
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
ECOLOGY pp 21-25
26
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES.
Vol 274, n. 1606, pp 137-142
BIOLOGY 19
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
2005 - NEUROSCIENCE AND
BEHAVIORAL
BIOBEHAVIORAL REVIEWS. Vol 31, n.
SCIENCES
4, pp 498-515
17
Protandry and sexual dimorphism in trans-
Saharan migratory birds
2007- BEHAVIORAL ECOLOGY. Vol
15, n. 4, pp 592-601
ZOOLOGY 9
25

ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo Riferimenti Settore Citazioni Citaz norm.
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
Ecological conditions during winter
predict arrival date at the breeding
quarters in a trans-Saharan migratory bird
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
Protandry and sexual dimorphism in trans-
Saharan migratory birds
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
pp 21-25
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES.
Vol 274, n. 1606, pp 137-142
2005 - NEUROSCIENCE AND
BIOBEHAVIORAL REVIEWS. Vol 31, n.
4, pp 498-515
2007- BEHAVIORAL ECOLOGY. Vol
15, n. 4, pp 592-601
ECOLOGY 32 2,476
ECOLOGY 26 2,036
BIOLOGY 19 1,738
BEHAVIORAL
SCIENCES
17 2,738
ZOOLOGY 9 3,048
26

ORP a supporto degli atenei nel
processo di selezione VQR
Le migliori pubblicazioni del ricercatore Tizio di
Scienze Biologiche di UNIalpha
Titolo Riferimenti Settore Citazioni Citaz norm. Percent.
Evolution of yolk androgens in birds:
Development, coloniality, and sexual
dichromatism
Ecological conditions during winter
predict arrival date at the breeding
quarters in a trans-Saharan migratory bird
Consequences of prenatal androgen
exposure for the reproductive
performance of female pheasants
Maternal effects and the evolution of
brain size in birds: Overlooked
developmental constraints
Protandry and sexual dimorphism in trans-
Saharan migratory birds
2004 - AMERICAN NATURALIST. Vol
169, n. 6, pp 802-819
2004 - ECOLOGY LETTERS. Vol 7, n. 1,
pp 21-25
2006 - PROCEEDINGS OF THE ROYAL
SOCIETY B-BIOLOGICAL SCIENCES.
Vol 274, n. 1606, pp 137-142
2005 - NEUROSCIENCE AND
BIOBEHAVIORAL REVIEWS. Vol 31, n.
4, pp 498-515
2007- BEHAVIORAL ECOLOGY. Vol
15, n. 4, pp 592-601
ECOLOGY 32 2,476 95,1
ECOLOGY 26 2,036 86,3
BIOLOGY 19 1,738 91,4
BEHAVIORAL
SCIENCES
17 2,738 94,6
ZOOLOGY 9 3,048 97,5
27

Precisione
Robustezza
Affidabilità
Funzionalità
Costi e tempi
SSV-ORP
28

SSV-ORP per gli Atenei
Supporto all’allocazione interna delle risorse
Stimolo al miglioramento continuo
Supporto alle policy di sviluppo e recruitment
Comunicazione esterna
Ottimizzazione del processo di selezione CIVR
29

Giovanni Abramo
CNR e
Università degli Studi di Roma “Tor Vergata”
Dipartimento di Ingegneria dell’Impresa
Laboratorio di Studi
sulla Ricerca e il Trasferimento Tecnologico
Via del Politecnico 1, 00133 Roma
Tel. 06 72597362 - Fax 06 72597305
abramo@disp.uniroma2.it
www.disp.uniroma2.it/laboratorioRTT
30