Dzisiaj podzielę się moim zaskoczeniem, gdy próbując odtworzyć wykres z raportu na podstawie danych z tego samego raporu otrzymałem zupełnie inne wyniki.
Kilka dni temu zgłosiłem apel o pomoc w zdobyciu danych dotyczących rozwoju pracowników naukowych. W ciągu tych kilku dni otrzymałem kilka listów z sugestiami ciekawych raportów dotyczący stanu nauki w Polsce. Między innymi od Krzysztofa T. dostałem namiar na raport ,,Produktywność naukowa wyższych szkół publicznych w Polsce” opracowany w ramach programu Sprawne Panstwo (program firmy Ernst & Young). Raport dostępny jest w postaci elektronicznej tutaj.
Po raporcie widać, że przygotowano go przez profesjonalistów. Ładnie dobrane odcienie szarości i pojawiające się łacińskie wtącenia sprawiają wrażenie rzetelności i profesjonalizmu. Jest też dużo tabelek z danymi (to na plus), odnośników do źródeł danych (to też na plus).
Niestety od strony statystycznej można się przyczepiać. Ponieważ generalnie cieszę się ze taki raport powstał, więc nie będę się czepiał bardzo, tylko na dwóch wpisach, tym i kolejnym ;-).
Zaczęło się od rysunku 12 ze strony strony 68 (patrz niżej) gdzie przedstawiona jest zależnośc pomiędzy przychodem na pracownika uczelni a liczbą publikacji na Nauczyciela Akademickiego (oznaczanego w całym raporcie konsekwentnie NA).
Pechowo na wykresie nie zaznaczono, która kropka to która uczelnia. Zaciekawiony która to kropka odpowiada najbardziej na prawo wysuniętej politechnice zacząłem przeglądać tabelę z danymi. Tabele 11 i 12 wydawały się pasować. W odpowiednich kolumnach przedstawiano i liczbę publikacji na NA i przychód na pracownika. Zrobiłem więc wykres o podobnych oznaczeniach jak ten prezentowany w raporcie, bazując na danych które przedstawiono w tymże raporcie i ze zdziwieniem zobaczyłem zupełnie inny obraz politechnik i uniwersytetów.
- Z wykresu prezentowanego w raporcie wynika, że dwie uczelnie o najwyższych wskaźnikach publikacja na NA to uniwersytety.
- Za to z wykresu prezentowanego na bazie danych które sa w raporcie wynika że w ścisłej czołówce uczleni o najwyższych wskaźnikach publikacja na nauczyciela akademickiego jest więcej politechnik.
- Z wykresu prezentowanego w raporcie wynika, że przy tym samym przychodzie na uniwersytetach jest średnio więcej publikacji na PA niż na politechnikach (ciągła linia nad przerywaną)
- Tymczasem z wykresu na bazie danych z raportu wynika rzecz zupełnie odwrotna, mianowicie że przy tym samym przychodzie na uniwersytetach jest średnio mniej publikacji na PA (ciągła linia pod przerywaną).
Przy okazji wyjasnijmy fenomen Uniwersytetu Jagielońskiego. Odstaje on znacząco od pozostałych uniwersytetów, tak bardzo że to aż zastanawia. Więc postawmy zagadkę dla czytelników, co ma UJ czego nie ma żadna duża z prezentowanych uczelni publicznych? Poniżej wykres tej samej zależności ale po usunięciu UJ. Pod wykresem znajduje sie odpowiedź na powyższą zagadkę.
UJ ma wydział lekarski i farmaceutyczny. We Wrocławiu, Warszawie czy Katowicach wydziały lekarski jest na Uniwersytecie Medycznym. Jeżeli chcieć uczciwie porównać różne uniwersytety to trzeba uwzględnić różną czestość publikowania w różnych dziedzinach. Umieszczanie UJ z wydziałem lekarskim w tej samej kategorii co pozostałe uniwersytety to błąd.
Różnica pomiędzy danymi a wykresami bieże się stąd, że dane przedstawiono dla jednego roku (2007/2008) podczas gdy na wykresach prezentowane są wskaźniki uśrednione z 10 lat, same wskaźniki nie sa jednak w raporcie prezentowane. Dziwne to.
UMK w Toruniu także ma wydział lekarski, tak więc to chyba nie tłumaczy wszystkiego
Być może dlatego UMK jest tak blisko UW. W takiej charakterystyce jak przychód na pracownika raczej spodziewałbym się większej różnicy.
W każdym razie z pewnością jeżeli analizuje się liczbę publikacji na nauczyciela trzeba uwzględnić różnorodne udziały różnych dyscyplin nauki w różnych uczelniach.
Kiedyś moja siostra cioteczna, finansistka, powiedziała mi że zamawiane w „dużych i znanych” firmach analizy są tak samo rzeczowe jak te od „statystycznej” osoby po odpowiednich studiach, tylko dzięki marce mają odpowiednio większe ceny. Teraz widzę jak wiele miała racji. Oczywiście sama w takiej firmie kiedyś pracowała.
No właśnie — cała ta część raportu jest bez sensu o tyle, że różnice pomiędzy wydziałami są znacznie istotniejsze niż różnice pomiędzy uczelniami. Uniwersytety wypadają gorzej, bo np. na polonistyce czy archeologii nie publikuje się. Zakładam, że podobnie jest na anglistyce. Podobnie jest w przypadku zarobków — dochody na anglistyce są na pewno mniejsze niż na nasyconym grantami wydziale fizyki. Wrzucenie tego wszystkiego do jednego worka powoduje, że te dane są zupełnie bezwartościowe.
Pojawia się jeszcze jedno pytanie: dlaczego kreśląc trend, traktuje się każdą uczelnię jako równie wartościowy punkt. Zależność dotyczy w końcu „efektywności” NA, więc rozsądniej byłoby chyba wziąć pod uwagę liczbę (obstawiam, że nie ~taką samą) NA na każdej uczelni.
Zastanawiam się też jaki sens ma zliczanie publikacji bez wzięcia pod uwagę jakichkolwiek wskaźników jakości tych publikacji, reprezentowanych choćby przez liczbę cytowań w prestiżowych czasopismach. Przejrzałem raport tylko pobieżnie, więc mogłem coś przeoczyć, ale wydaje mi się, że tego typu wskaźniki nie są nigdzie wzięte pod uwagę.