11
Komitet Ewaluacji Jednostek Naukowych
Kategoryzacja Jednostek Naukowych 2013
Bożenna Kawalec-Pietrenko, Maciej Zabel, Stanisław Kistryn
Łódź, 22.06.2012
2
NAJWAŻNIEJSZE RANKINGI UNIWERSYTETÓW
1. Ranking Uniwersytetu Shanghai Jiao2. THE – QS World University Rankings (The Times Higher Education oraz organizacja Quacquarelli Symonds)3. Webometrics Ranking of World Universities (opracowuje HiszpańskaNarodowa Rada Badawcza)4. G – Factor 5. Global University Ranking (niezależna agencja rosyjska )6. HEEACT – Performance Ranking of Scientific Papers for World Universities (ranking Tajwańskiej Rady Oceny i Akredytacji Szkolnictwa Wyższego)
3
1 USA Harvard University 11 USA Uni.of California,Los Angeles2 USA California Inst.of Technol. 12 USA University of Chicago3 USA Massach. Inst. of Technol. 13 USA Johns Hopkins University4 USA Stanford University 14 USA Cornell University5 USA Princetown University 15 SWI ETH Zurich6 UK University of Cambridge 16 USA University of Michigan6 UK University of Oxford 17 Can University of Toronto8 USA Uni.of California, Berkeley 18 USA Columbia University9 UK Imperial College, London 19 USA University of Pensylwania10 USA Yale University 20 USA Carnegie Mellon University
Światowy ranking uniwersytetów - 2010
4
ENGINEERING AND TECHNOLOGY UNIVERSITIES13.10.2011
1 USA California Inst.of Technology
11 USA Georgia Institute of Technol.
2 USA Massachusetts Inst.of Techn 12 USA Carnegie Mellon University3 USA Princetown University 13 USA Uni of Texas at Austin4 USA Uni of California, Berkeley 14 USA University of Michigan5 USA Stanford University 15 USA Cornell University6 UK University of Cambridge 16 USA UniCalifornia,SantaBarbara7 UK University of Oxford 17 USA Uni IllinoisUrbanaChampaign8 USA Uni of California,LosAngeles 18 CAN University of Toronto9 SWI ETHZurich Swiss Federal
Inst. of Technology19 SING National University
of Singapore10 UK Imperial College London 20 SWI Ecole Polytechnique
Federale de Lausanne
5
Miejsca „polskich” nauk ścisłych wg liczby publikacji w rankingu światowym
2010 1998-2002 Fizyka 12 12 Matematyka 12 13 Materiałoznawstwo 14 12 Astrofizyka 15 16 Nauki inżynierskie 23 23 Informatyka 23 27
6
WIELKA BRYTANIA
Jeden z najbardziej zaawansowanych systemów ewaluacji w Europie.
1986 - po raz pierwszy przeprowadzono Research Assessment Exercises (RAE); następne: 1989; 1992; 1996 itd.
7
c.d.ANGLIA RAE DEFINICJA BADAŃ NAUKOWYCH
Badania oryginalne podjęte w celu zdobycia wiedzy obejmują:
- pracę bezpośrednio powiązaną z potrzebami przemysłu i handlu oraz sektora publicznego;
- tworzenie idei, wyobrażeń, dokonań, gdy prowadzi to do nowych lub istotnie ulepszonych przedsięwzięć;
- pracę w celu wytworzenia istotnie lepszych materiałów, urządzeń, produktów i procesów włączając w to ich projektowanie i konstrukcje; -wykorzystanie aktualnej wiedzy w pracach eksperymentalnych;.
wykluczają natomiast:rutynowe testowanie i analizę materiałów, składników i procesów w odróżnieniu od rozwoju nowych technik analitycznych!
88
STRUKTURA KOMITETU KEJN
-Komisja ds. Grupy Nauk Ścisłych i Inżynierskich
- Komisja ds. Grupy Nauk o Życiu
- Komisja ds. Grupy Nauk Humanistycznych i Społecznych
- Komisja ds. Grupy Nauk o Sztuce i Twórczości Artystycznej
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
9
KEJN – ocena działalności JN 2013
Cele- uzyskanie informacji dotyczących JN (jednostek naukowych) - ustalenie kategorii JN (A+, A, B, C) - ukierunkowanie rozwoju JN
Ważniejsze terminy1.Przygotowanie założeń -czerwiec 20112.Rozporządzenie -czerwiec 20123.Nadsyłanie ankiet - marzec 20134.Zakończenie parametryzacji i ustalenie kategorii - 30.09.2013
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1010
KEJN – główne etapy procedury oceny
1. KlasyfikacjaPrzypisanie jednostek do grup wspólnej oceny (GWO)
2. ParametryzacjaOcena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO
3. KategoryzacjaUstalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+)
Projekt rozporządzenia z dnia 20.04.2012
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1111
Grupy Wspólnej Oceny
1. Grupa dziedzin naukiwspólne kryteria w ramach każdej grupy
2. Rodzaj jednostki (jedn.uniw.; inst.PAN; inst.bad.)wspólne wagi kryteriów w ramach rodzaju
3. Określenie przynależności JN do GWODla każdej GWO wspólne kryteria, parametry i progi poszczególnych wymogów oraz jednostki referencyjne
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1212
Grupy Wspólnej Oceny - wynik prac wstepnych
Podstawowe Jednostki Organizacyjne Szkół Wyższych
Grupy Nauk
Rodzaj Jednostki Humanist.i Społeczne
Ścisłei Inżyn.
o Życiu o Sztucei Twórcz Artyst.
6 7 7 4
Instytuty Polskiej Akademii Nauk
Instytuty Badawcze
2 4
6
4
1
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
13
Najważniejsze nowe elementy oceny JN
1.Kryteria oceny z ustalonymi wagami:1.Osiągnięcia naukowe i twórcze2.Potencjał naukowy3.Efekty materialne działalności naukowej4.Pozostałe efekty działalności naukowej
3.Kategoryzacja - metoda porównań parami z uwzględnieniem jednostek referencyjnych
4.Ocena parametryczna prowadzona przez Zespoły Ewaluacji.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1414
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
NagrodyKonferencjePopularyzacjaSpecjalne
EkspertyzyDziałania artyst.
Płace ze źródeł zewn.Nakłady na apar.i oprogr.
Płace brut.ze źródeł zewn.Nakłady na apar.ioprogr.
PatentyEkspertyzy
UprawnieniaRozwój kadryFunkcjeProjekty
Środki z proj.UprawnieniaRozwój kadryLab. akredyt.
UprawnieniaRozwój kadryLab.akredyt.Status PIB
UprawnieniaRozwój kadryFunkcjeProjekty
PublikacjeMonografiePatentyDorobek art.
PublikacjeMonografiePatenty
PublikacjeMonografiePatenty izgł.
PublikacjeMonografie
Kryterium
Grupa Nauk
1. Osiągnięcianauk. i twórcze
2.Potencjał naukowy3.Efekty material ne działalności naukowej 4. Inne efekty działalności naukowej
Humanist. i Społeczn.
Ścisłych i Inżyniersk.
o Życiu o Sztuce i TwórczościArtystycznej
Podkryteria wg grup nauk i rodzaju JN
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
15
Wartości punktowe kryterium
1. Osiągnięcia naukowe i twórcze
Publikacje:Lista A 20 50 Lista ERIH 12 20 Lista B do 10Monografie: 20 25Patenty: 25 (+ 25)Wzory użytkowe: 10 (+ 10)
9Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1616
Wagi kryteriów wg grup nauk i rodzaju JN
W a g i Kryterium Sposób
ocenyNauki Hum. i Społ.
N. Ścisłe i Inż.JU PAN IB
N.o ŻyciuJU PAN IB
Nauki o Sztuce i Twórczości Artystycznej
1. Osiągnięcia naukowe i twórcze
Punkty z listy min. i ustalone przezKEJN
65 65 65 35 70 75 60 60
Wg ustalonejpunktacji
15 10 10 10 5 5 5 20
Wg ustalonejpunktacji
5 15 15 45 15 10 25 5
Ankieta Zesp.Ew.
15 10 10 10 10 10 10 15
3.Materialne e-fekty działalnoś- ci naukowej
4. Inne efekty działalności naukowej
2. Potencjał naukowy
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
1717
Kategoryzacja
1.Określenie kategorii A, B i C- porównanie parami z uwzględnieniem jednostek referencyjnych
2. Określenie kategorii A+ - ocena ekspercka
A+ - poziom wiodący A - poziom bardzo dobryB - poziom akceptowalny z rekomendacją wzmocnienia dzia- łalności nauk., bad.-rozw. lub stymulujacej rozwój gospodarkiC - poziom niezadowalający.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
18
► Wymóg podstawowyJednostka kategorii A; wynik z procedury rankingu w górnych ok.25% w danej grupie wspólnej oceny
► Zestaw dodatkowych kryteriów. Opis własnych najważniejszych osiągnięć:cytowania, punktacja najlepszych prac, nagrody, prestiżowe granty, funkcje we władzach naczelnych naukowych organizacji międzynarodowych, Komitetach PAN, przychód z zastosowań wyników badań.
► Audyt Ewentualna wizyta Zespołu Ewaluacji w JN
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
KEJN – kategoria A +
19
Uzasadnienie wyboru metody. PUNKT WYJŚCIA -BRAK PEWNOŚCI, ŻE WYBÓR BEZPOŚREDNI JEST OPTYMALNY!
PRZYKŁADY WYBORU1.Wybór kandydata na dane stanowisko pracy.Trzeba porównać stopień spełnienia przez kandydatów kryteriów wymaganych na danym stanowisku tj. wykształcenie, staż pracy, znajomość j. obcych, itd.2.Przetarg. Trzeba uwzględnić różne kryteria. Niestety
obecnie zwykle decyduje tylko cena, co zresztą spotyka się z bardzo szeroką krytyką.
Zatem wybór bezpośredni nie jest wyborem optymalnym!
Stąd decyzja KEJN-u o zastosowaniu w kategoryzacjimetody wielokrotnego wyboru.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
20
Wymagana procedura
1. Ustalenie kryteriów wyboru z przypisaną im miarą.2. Ustalenie wag kryteriów.3. Obliczenie dla wszystkich JN wartości miar w obszarze
każdego kryterium.4. Wybór obiektu w wyniku przeprowadzenia porównań
parami każdego z każdym w odniesieniu do poszczególnych kryteriów.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
21
Ustalenie kryteriów wyboru
- Zasada: prawidłowe kryterium = jednoznacz- na definicja włączająca miarę kryterium.
- Metoda „burzy mózgów” lista kryteriów.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2222
KEJN – kategoryzacja*Ranking pozornie oczywisty:● Porównanie jednostek (dane z ankiet)● Uporządkowanie wg wyników
Porównanie jednostek parami w ramach GWO: dla każdej pary JN X i Y porównanie ocen każdego spośród kryteriów„i” (i = 4) z osobna, Pi(X)↔ Pi(Y) wynik punktowy Ri
Ankieta
JN
p1
p2
p4
p3
JN
*Oceny wg 4 kryteriów niewspółmierne
Problem wielokryterialnego porządkowania
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2323
KEJN – kategoryzacjaIdentyczna zasada porównań ocen P danych dwóch JN w odniesieniu do każdego kryterium– relacja przewyższania)
pX – pY
–1
0 D
Ri ocena jednostki X +1
G–G –D
ocena jednostki Y
D – próg nierozróżnialności; G – próg pełnego przewyższaniaD = α ∙ min(pX, pY); G = m ∙ D (n.p. α = 0.1, m = 3)
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
24
Dokonany wybór jest wyborem optymalnym powstałym w wyniku porównania wszystkich JN każda z każdą w obszarze każdego kryterium.
Metoda optymalnego wyboru jest wprawdzie pracochłonna, ale powinno zależeć nam na stosowaniu obiektywnych rozwiązań, mimo że dziel i rządź jest pokusą wielu demokracji (cyt). Stąd decyzja KEJN-u dot. wyboru wyżej opisanej metody.
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2525
KEJN – kategoryzacjaPrzykład
Porównanie ocen dla każdegoz i=4 kryteriów pi
X ↔ piY
→ Ri
Wynikiem porównania paryX i Y byłaby dla każdej z nich suma punktów z 4porównań każdej pary ocen (wszystkie kryteria), czyliliczba z zakresu – 4 do + 4
X Y R1
R2
R4
R3
p1
p2
p4
p3
p1
p2
p4
p3
Ankieta
JN
Ankieta
JN
Kryteria nie są tak samo istotne wagi (mnożące Ri)
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2626
KEJN – kategoryzacjaRanking● Porównanie jednostek parami ważoną relacją przewyższania
● Uporządkowanie wg wyników
Porównanie ocen dla każdegoZ i=4 kryteriów pi
X ↔ piY
→ Ri
Jednostki otrzymują punkty w zakresie (–gi ÷ gi ).
Wynikiem porównania pary jednostek jest dla każdej z nichsuma punktów z 4 porównańpar ocen (wszystkie kryteria).
Jednostki szeregowane są wg sumy punktów powstałejze wszystkich porównań dokonanych w parach.
X Yg1R1g2R2
g4R4
g3R3
p1
p2
p4
p3
p1
p2
p4
p3
Ankieta
JN
Ankieta
JN
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2727
KEJN – kategoryzacjaWynik rankingu (porównania parami):Każdej jednostce (w grupie wspólnej oceny) przypisana punktacja
0
5
10
15
20
25
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30
Numer jednostki
War
tość
rela
cji u
porz
ądko
wan
ia(p
unkt
y pr
zesk
alow
ane)
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2828
KEJN – kategoryzacja ► Ranking nie jest celem – jest tylko etapem pośrednim,
bo konieczne jest porównanie punktacji jednostek z wzorcem
► Jednostki referencyjne – postawione będą minimalne wymagania co do wartości kryteriów P1,…, P4 dla przekroczenia progów kategorii A (B→A) i B (C→B)(z analizy statystycznej zakresu wartości każdego z kryterióworaz poprzez odniesienie do standardów światowych)
► Kategoryzacja - włączenie jednostek referencyjnych AB i BC do rankingu; odniesienie punktacji każdej jednostki do wyniku rankingu jednostek referencyjnych AB i BC
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
2929
KEJN – kategoryzacjaWynik kategoryzacji
A
B
C0
5
10
15
20
25
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30
Numer jednostki
War
tość
rela
cji u
porz
ądko
wan
ia(p
unkt
y pr
zesk
alow
ane)
Jednostka "A"
Jednostka "B"
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
3030
Przykład porównania parami
X YP1 90 70P2 300 300P3 2000 3000P4 7 9
JU (wagi 70/10/15/5) : O(X) = +45,4 , O(Y) = –45,4IB (wagi 40/10/45/5) : O(X) = –12,5 , O(Y) = +12,5
X YR1 +0,93 -0,93R2 0 0R3 -1,00 +1,00R4 -0,93 +0,93
Ri
pX – pY –1
0 D
R(X) +1
G–G –D
R(Y)Znaczenie wag (giRi)Progi: D = 0,1 , G = 0,3
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
3131
Przykład porównania parami
X YP1 90 75P2 300 350P3 2000 2500P4 7 8
O(X) = +15,6 , O(Y) = –15,6
Ri
pX – pY –1
0 D
R(X) +1
G–G –D
R(Y)
Znaczenie funkcji przewyższania(„wysycenie” Ri)
O(X) = +19,3 , O(Y) = –19,3
X Y
P1 90 75P2 300 350P3 2000 25000P4 7 8
Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
3232
Przykład porównania parami
X YP1 90 77P2 300 400P3 2000 10000P4 7 10
O(X) = + 4,1 , O(Y) = – 4,1
Ri
pX – pY –1
0 D
R(X) +1
G–G –D
R(Y)
Znaczenie „słabego” kryterium(ocena Zespołu Ewaluacji)
O(X) = – 5,9 , O(Y) = + 5,9
X YP1 90 77P2 300 400P3 2000 10000P4 7 5
Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013
3333
Dziękuję za uwagę
Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013