Nauka w Polsce 2013, czyli słów kilka o nowym raporcie ministerstwa

W poprzednim tygodniu ukazał się raport ,,Nauka w Polsce 2013” [znajdziesz go tutaj]. Jest on prawdopodobnie opracowany przez ministerstwo [,,prawdopodobnie” ponieważ w raporcie brakuje informacji kto jest autorem]. Jest w nim wiele wykresów, z których część można by było zrobić lepiej. I o tym co można zrobić lepiej będzie dzisiejszy wpis.

,,Nowoczesna” forma

Raport ma bardzo ,,nowoczesną” formę, składa się głównie z wykresów. Brak w nim komentarzy czy wniosków dotyczących prezentowanych wyników, jedynie gdzieniegdzie można znaleźć objaśnienia jak pewne współczynniki były liczone.
Przez co w pierwszej chwili można odnieść wrażenie, że to jedynie slajdy z prezentacji/streszczenia [sprawdzałem nawet w słowniku języka polskiego czy taki zbiór wykresów można nazywać raportem].

Do większości wykresów brakuje informacji o źródle danych, które są przedstawiane. Utrudnia to weryfikację prezentowanych liczb. Niestety do standardów raportów OECD jest jeszcze daleko, tam przy poważnych raportach do każdego wykresu dodane są odnośniki do źródeł danych.

Sytuacja z tym raportem jest kuriozalna. Mamy zbiór wykresów, w części nie najlepiej przygotowanych, nie ma odnośników do danych źródłowych, nie ma tabel z liczbami, na postawie których te wykresy powstały. Brakuje też wniosków czy podsumowania, które można by zweryfikować.
Rodzi to wręcz obawy, że z tego raportu każdy odczyta sobie wnioski jakie będą mu pasować, a nieuporządkowana formuła raportu nie pozwoli na ich weryfikację.

Wiele interesujących tematów

W raporcie poruszanych jest wiele tematów. Można zobaczyć wykresy traktujące o finansowaniu nauki w Polsce (chciałem napisać przeczytać, ale akurat przeczytać się nie da).
Począwszy od wysokości nakładów na naukę, informacji co w jakiej wysokości jest finansowane, jest o tym, ile jest uczeni i pracowników naukowych w różnych województwach (choć nie jest jasne jak liczeni są ci, co pracują w rożnych województwach), ile jest jednostek badawczych, jakiego typu i jak bardzo aktywnych. I wiele innych informacji.

Zachęcam do przejrzenia tego raportu.
Aktualna wersja ma podtytuł ,Edycja 1′, może kolejne edycje będą miały już liczby i wnioski dzięki czemu będzie to ciekawe źródło informacji.

Co można by w raporcie poprawić?

Zaczniemy od retorycznego pytania: czy jeżeli w raporcie nie ma spisanych wniosków i nie ma podanych źródeł to trudno się czegoś przyczepić?
Wybierzmy kilka rodzynków. Powiedzmy, że w ramach działalności typu ,,watchdog”.
Dwie pierwsze to oczywiste grube błędy, kolejne to sugestie.

Rodzynek 1.

Wzrosty deklarowanych wydatków na B+R rosną szybko. Szczególnie gdy w ostatnim słupku zsumuje się wydatki z 4 lat. Gdyby podzielić 4862 mln na 4 lata to można zauważyć niewielki spadek. A gdyby uwzględnić inflację …

Rodzynek 2.

Definicji z raportu nie należy czytać dosłownie. Np. na stronie 31 jest ,,Współczynnik sukcesu jest określany stosunkiem liczby wniosków złożonych do liczby projektów finansowanych lub stosunkiem środków o które wnioskowano do środków, które zostały pozyskane, wyrażony w procentach.” choć powinno być ,,Współczynnik sukcesu jest określany stosunkiem liczby projektów finansowanych do liczby wniosków złożonych lub stosunkiem środków które zostały pozyskane do wnioskowanych, wyrażony w procentach.” Czyli odwrotnie niż w oryginale.

Rodzynek 3.

Przyjrzyjmy się dokładnie.
Na tym wykresie Polska jest na pozycji 15 na 27 państw. Czyli poniżej połowy.
Czy bycie poniżej połowy rankingu pozwala na określenie się tytułem 'najbardziej aktywni’?
Pikanterii dodaje sprawie fakt, że gdyby wziąć pod uwagę współczynnik sukcesu to bylibyśmy na 21-22 miejscu na 27 krajów.
Czyli poniżej 3/4 rankingu. Czy to wciąż upoważnia do określenia ,najbardziej aktywni’?

Rodzynek 4.

Mapki wyglądają bardzo kolorowo, ale z takich jak powyżej trudno odczytać jakieś zależności.
Województwo mazowieckie jest i najludniejsze i najwięcej w nim jednostek naukowych. Ale dla pozostałych województw trudno coś zauważyć. Bardziej czytelna byłaby już tabela z liczbami, ponieważ długości porozrzucanych słupków i tak nie sposób porównać.

W raportach, w których autorzy spisali wnioski i komentarze, można wybaczyć takie mało mówiące zestawienia, ponieważ zależności odczytać można z tekstu. Ale tutaj wykresy są główną treścią raportu, należałoby zatroszczyć się bardziej o to by jak najwięcej dało się z nich odczytać.

Rodzynek 5.

Sądząc po tym jak popularne są żarty w stylu ,,średnio z moim psem mamy trzy nogi” spodziewałem się, że już wszyscy wiedzą, że są lepsze sposoby przedstawienia pewnych informacji niż średnia.
Niestety na powyższym wykresie informacje o tym jak duże są zespoły finansowane przez ministerialne granty przedstawiono za pomocą średnich. A w sytuacji gdy zdarzać się mogą pojedyncze duże zespoły, średnia silnie zależy od wystąpienia lub nie dużych zespołów.
Gdyby zastąpić te barwne paski wykresami pudełkowymi, można by odczytać znacznie więcej informacji.

W tym wykresie poprawiłbym dwie rzeczy.
Po pierwsze można zaznaczyć (np szerokością słupków) ile było wniosków grantowych w każdej z tych grup. Wniosków grantowych z uczelni niepublicznych jest prawdopodobnie znaczeni mniej niż z innych źródeł (,,prawdopodobnie” ponieważ w raporcie nie było tej liczby).
Po drugie, [choć to pewnie subiektywne] z tych liczb chciałbym zobaczyć jak zmienia się w czasie współczynnik sukcesu.
Rozsunięcie słupków porównujących te same byty to utrudnia. Gdyby słupki pogrupować ze względu na typ jednostek to łatwiej by było zobaczyć w której grupie współczynnik sukcesu spada a w której rośnie.
To zresztą dotyczy wielu innych wykresów z tego raportu. W wielu przypadkach składając grant nie mogę swobodnie wybierać dyscypliny do której złożę wniosek, czy jednostki, na której złożę wniosek.
Dlatego bardziej interesuje mnie zmiana w czasie dla mojej jednostki/dyscypliny a nie porównanie wyników pomiędzy jednostkami.

Na koniec podzielę się małą refleksją.
Jestem przekonany, że dobrze przedstawione dane, przedstawione w przemyślany sposób, pozwalają na zrozumienie nawet złożonych zjawisk bez dodatkowych długich opisów słownych.
A tu mamy raport w którym jest dużo wykresów a jednocześnie nie widzę spójnej historii. Co więcej, doszło do tego, że wolałbym tabelki z liczbami zamiast tych wykresów.