Ten wpis dotyczy wyłącznie nauk ścisłych, osoby zainteresowane też naukami przyrodniczymi czy humanistycznymi zapraszam do zapoznania się z tym wpisem.
Kilka dni temu, pod hasłem ,,Wizytówki polskiej nauki” ministerstwo opublikowało ocenę parametryczną jednostek naukowych. Każda z jednostek trafiła do jednej z czterech kategorii A+ (czyli elita, cytując ministerstwo), A, B i C (czyli ,,silne ostrzeżenie”). Od kategorii zależy wysokość dofinansowania ze strony ministerstwa, które otrzyma jednostka.
Na zaklasyfikowanie jednostki do kategorii wpływ miały cztery kryteria:
** Kryterium I – Osiągnięcia naukowe i twórcze
** Kryterium II – Potencjał naukowy
** Kryterium III – Materialne efekty działalności naukowej
** Kryterium IV – Pozostałe efekty działalności naukowej
Z plików pdf opublikowanych przez ministerstwo (dobrze, że nie zdjęcia wydrukowanych kartek, też cyfrowy format) udało się wyciągnąć dane. Poniżej przedstawię graficznie dane dla kategorii ,,Nauki ścisłe i inżynierskie”. Kody, wykresy i pliki źródłowe użyte do wykonania tych wizualizacji dostępne są tutaj, więc jeżeli kogoś interesują inne kategorie i lubi wyciągać dane z pdfów, zapraszam.
Zanim pokażemy surowe dane, przedstawimy problem odwrotny.
Podczas oceny jednostek na podstawie ocen cząstkowych przypisywano jednostki do czterech kategorii. Problemem odwrotnym będzie użycie algorytmu klasyfikacji (tutaj drzew klasyfikacyjnych) aby zobaczyć, które czynniki były decydujące w ,,przypisaniu” jednostki do określonej kategorii.
Poniższe drzewo decyzyjne (celowo obcięte do trzech poziomów) pokazuje czym charakteryzują się jednostki wysoko i nisko oceniane.
Przyjrzymy się teraz surowym danym. Poniżej przedstawiamy wykresy punktowe przedstawiające po dwa z czterech kryteriów oceny. Gdyby te wykresy się nie wyświetlały, to można je zobaczyć bezpośrednio pod tym adresem i tym adresemchrome wystarczy odświeżyć stronę, w feedly trzeba przejsc na strone bloga).
Oglądając wyniki dla osiągnięć naukowych i potencjału naukowego jednostek widzimy, że potencjał naukowy miał znacznie mniejszy wpływ na ocenę niż osiągnięcia. Nie jest dla mnie jasne co oznacza, że jednostka ma największy potencjał ale średnie osiągnięcia (PW MINI) lub bardzo niski potencjał ale bardzo wysokie osiągnięcia (UW ICM). Ale z tych dwóch czynników osiągnięcia były cenione bardziej.
[btw, szperając w lewym dolnym rogu odkryjemy, że Centrum Badawczo Konstrukcyjne Obrabiarek ma większy potencjał niż Wydział Informatyki na Wyższej Szkole Menadżerskiej. Bez komentarza.]
Przesunięcie kursora nad punktem wyświetli nazwę jednostki.
Porównując materialne efekty działalności i pozostałe efekty działalności rzuca się w oczy instytut badań BOSMAL, który z wynikiem ponad 1000 punktów deklasuje konkurencję. Psuje też wykres. Zobaczmy więc co się stanie gdy usuniemy tą zmienną.
Przesunięcie kursora nad punktem wyświetli nazwę jednostki.
Dwie zmienne, które najczęściej ważyły na końcowej ocenie to osiągnięcia naukowe oraz pozostałe efekty.
Ocena końcowa konstruowana była na bazie czterech wskaźników. Przedstawiając tylko dwa z nich nie widać jasnych granic pomiędzy końcowymi klasyfikacjami. Pokazuje to tylko, jak trudnym zadaniem jest taka klasyfikacja obejmująca jednostki o bardzo różnym profilu działania.
Zróbcie, proszę, taką samą analizę dla prawa, pliz! Wyniki też mogą być ciekawe.
Wyniki będą na blogu jutro. Co ciekawe, sytuacja wygląda zupełnie inaczej niż w naukach ścisłych.
Szanowni Państwo,
„Potencjał naukowy” to przede wszystkim uprawnienia (doktorskie i habilitacyjne) oraz liczba wypromowanych doktorów, doktorów habilitowanych, profesorów itd. Wydziały duże, zwłaszcza „składankowe” mają w tej kategorii bardzo wysokie wyniki, nawet pod 1000 punktów. Nie ma w tym nic dziwnego.
Wydziały Prawa są homogeniczne więc maja najczęściej tylko dwa uprawnienia (1 doktorskie i 1 habilitacyjne).
Pozdrawiam, ML
Dziękuję za wyjaśnienie.
W przypadku wszystkich jednostek z nauk ścisłych nie widać zależności pomiędzy potencjałem naukowym a osiągnięciami (jakkolwiek mierzonymi).
Dla nauk społecznych jest inaczej, zależność jest wyraźna (worek jest jednak duży, są w nim i jednostki związane z wydziałami prawa i innymi wydziałami czy instytutami).
Szanowna Redakcjo smarterpoland
Pierwszy dobry tekst na temat kategoryzacji 2013 — ukłony.
Do powyższego dodam, że w naukach technicznych do potencjału liczone były dodatkow [oprócz uprawnień dr i hab. oraz rozwoju kadry — stopnie i tytuły] także punkty za posiadanie laboratoriów certyfikowanych i akredytowanych [w Polsce i Europie]. W tej sytuacji Instytut Badawczy XXX posiadający kilka lab. akredytowanych i dbający o rozój własnej kadry miał więcej punktów w tym kryterium niż Wyższa Szkoła YYY, jeśłi ta ostatnia nie miała uprawnień do doktoryzowania i habilitowania.
Polecam lekturę Rozporządzenia Ministra Nauki i Szkolnictwa Wyższego w sprawie kategoryzacji [dostępne na str www MNiSzW]. Wszystkie zasady zostały tam baardzo szczegółówo opisane.
Dziękuję za wskazanie gdzie znajdują się dokładne definicje kryteriów.
Wiedząc już co oznaczają poszczególne kryteria, pomijając samą sprawę podziału na cztery kategorie, ciekawym jest zobaczenie jak wygląda zróżnicowanie potencjału, osiągnięć, materialnych i innych efektów poszczególnych jednostek.
Dla mnie zaskoczeniem jest to, jak różny obraz otrzymuje się w dziedzinie nauk ścisłych a innych w dziedzinie nauk humanistycznych.
Przykładowo tutaj jest mapa osiągnięcia naukowe / pozostałe efekty dla nauk ścisłych:
http://smarterpoland.pl/materialy/parametryzacja/chart1.html
a tutaj dla nauk społecznych
http://smarterpoland.pl/materialy/parametryzacja/chart1Spoleczne.html
W pewnym sensie należy się tego spodziewać, ale i tak ciekawie jest zobaczyć, że dla nauk społecznych, wygląda na to, że jednostki które mają wiele pozostałych efektów mają też wysokie osiągnięcia naukowe.
Dla nauk ścisłych już tak nie jest, np. Instytut lotnictwa w kategorii osiągnięcia naukowe jest nisko, ma wiele ,,innych efektów”. Co czyni kategoryzację w tej działce trudniejszą.
Bardzo dziękuję. Ale korelacja miedzy I i IV kryterium jest i grupie nauk ścisłych i humanistyczno-społecznych. Trzeba to policzyć. Różnica jest taka, że w grupie nauk ścisłych jest ogromny rozrzut w I kryterium (średniej punktowej wartości publikacji) – od takich jednostek, które praktycznie w ogóle nie publikują aż po takie, które maja prawie efekt sufitowy (możliwe do osiągnięcia maksimum). W naukach społecznych ten rozrzut jest znacznie mniejszy, konkretnie niewiele jednostek osiąga wysokie wartości (tylko dwie mają wynik powyżej 50,0). To oddaje dystans jaki dzieli (najlepsze) nauki społeczne od (najlepszych) nauk ścisłych czy przyrodniczych.
Na szczęście i to się zmienia.
Pozdrawiam,
Maria Lewicka
W naukach ścisłych i inżynierskich osiągnięcia w kryterium I i III mogą się częściowo wykluczać. Jednostka często decyduje się na działalność publikacyjną , albo tworzenie nowych rozwiązań technologicznych i wdrożenia. Stad takie rozbieżności w wynikach panelowych. Osiągane wyniki w dużym stopniu zależą od przyjętej przez jednostkę naukową strategii rozwoju.
Z zainteresowaniem czekam na analizy pozostałych dziedzin nauki.
Pozdrawiam
Czy jest gdzieś dostępny opis wykorzystanej metody? W pliku http://www.nauka.gov.pl/g2/oryginal/2013_09/103ec8fd06b20bb9ed0cc238b310677d.pdf jest zapis „…według algorytmu określonego w załączniku nr 8 do rozporządzenia”. Czy ten załącznik jest gdzieś dostępny? Czy są dostępne szczegółowe wyniki porównań parami? Czy sposób postępowania ma coś wspólnego z AHP?
Powiem tak, bardzo mało odkrywczy artykuł/analiza. Bez wykonywania wszelkich wykresów i obliczeń z łatwością można stwierdzić, że najważniejsze jest pierwsze kryterium, bo… ma największa wagę w porównaniu parami. A kryterium IV równie istotne, bo… skorelowane jest z kryterium I. Ot co
@Analityk, mało odkrywczy to jest ten komentarz. ,,Widząc wyniki odkrywam, że wiedziałem to wcześniej”
Zacząłem czytać metodologię przyznawania ocen.
Strasznie proste te procedury, można jest było jeszcze bardziej rozwinąć.
A tak na prawdę – głowa mnie rozbolała!
W takim przypadku tracę zaufanie do wyników. Zawsze powinien być benchmark prostą metodą.
Uniwersytet Wrocławski; Wydział Matematyki i Informatyki
Kryterium pierwsze: 64,92
Kryterium drugie: 560,00
Kryterium trzecie: 1,14
Kryterium czwarte: 70,00
Ocena ostateczna: 33,19
Uniwersytet Śląski w Katowicach; Wydział Matematyki, Fizyki i Chemii
I- 95,99
II- 751,00
III- 5,58
IV – 80,00
Ocena ostateczna: 50,59
Wspaniale , jestem dumny z mojej uczelni !
Pozdrawiam,
Krzysztof
Admin http://www.statystycy.pl