Ankiety studenckie, stratyfikacja a macierze korelacji

Dzisiejszy wpis jest pierwszym z serii wpisem dotyczącym wizualizacji i analizy danych zbieranych w procesie nauczania w szkołach wyższych. Rok temu mój magistrant, Filip Grotkowski, w ramach pracy magisterskiej wykonał szkielet oprogramowania pozwalający na automatyczne generowanie raportów na podstawie danych z systemów: Uniwersytecki System Obsługi Studentów (USOS) i Internetowa Rejestracja Kandydatów (IRKA). Więcej o systemie USOS przeczytać można np. tutaj.

Kolejni magistranci kontynuują rozwój tego systemu. Celem jest opracowanie systemu raportów, który będzie prezentował ciekawe informacje dla studentów i nauczycieli akademickich. Aktualnie kilkanaście uczelni używa tego systemu i teoretycznie raz opracowany zestaw raportów będzie można uruchomić na każdej z tych uczleni. Tak więc ten i kolejne wpisy w tle mają pytanie, jakie informacje użyteczne dla studentów i nauczycieli akademickich można wyłowić z baz danych o procesie studiowania i mam nadzieję, że czytelnicy tego bloga swoimi uwagami pomogą w znalezieniu sposobów znajdowania odpowiedzi na najciekawsze pytania.

 

Dziś będzie o liczeniu korelacji pomiędzy wynikami z ankiet studenckich.

Na wydziale MIM Uniwersytetu Warszawskiego przeprowadzane są ankiety wśród studentów. O ile wiem ankiety są organizowane przez Samorząd Studencki.
Studenci odpowiadają na 11 pytań opisujących ich zadowolenie z każdego z wybranych przedmiotów. Między innymi oceniają przygotowanie prowadzącego, dostępność materiałów, dostępność prowadzącego, ogólną ocenę zajęć, ogólna oceną prowadzącego itp.

Wielki plus dla samorządu za zorganizowanie tego systemu i aktywne motywowanie studentów do wypełniania ankiet, dzięki czemu wypełnianych jest kilka tysięcy ankiet na semestr. Plus za pytanie o 11 aspektów dotyczących przeżytego kursu, ułatwia to zrozumienie co się podobało a co nie w danym kursie. Minus za brak pomysłu na przedstawienie wyników dla tych 11 aspektów.

 

Wyniki ankiet dla kierunku Matematyka dla semestru zimowego 2010 opracowane przez studentów wydziału MIM zostały umieszczone pod tym adresem. Raport jest miły dla oka, znajduje się tam wiele wykresów i liczb. Brawa dla autorów za jego wykonanie, ale jak zwykle nawet w najlepszym raporcie znajdzie się coś do czego  można mieć uwagę. A moja jest taka, że mam wrażenie, że z takich ankiet można wyciągnąć więcej informacji. I to jest temat kilku najbliższych wpisów.

Ten wpis poświęcę dyskusji nt. macierzy korelacji pomiędzy odpowiedziami na pytania z ankiet.
Jest ona przedstawiona w wymienionym wyżej raporcie w części ‚Korelacja pomiędzy wynikami z pytań’.
Pamiętajmy, że te wyniki są prezentowane dla studentów i pracowników wydziału informatyki i matematyki, więc można wybaczyć zalew liczb i prezentowanie korelacji z dokładnością do trzech cyfr po przecinku (co sam też będę czynił poniżej).

Problem z tą macierzą korelacji polega na tym, że nie wiadomo co ona pokazuje.

Dlaczego?
Przypomnijmy jak była ona konstruowana.
Studenci dla każdego odbytego kursu odpowiadali na 11 pytań w skali od 1 do 7. Puryści stwierdzą, że ta skala przypomina bardziej skalę Likerta niż dane ilościowe więc liczenie z odpowiedzi średniej a co dopiero korelacji nie ma sensu. Ale przymknijemy na razie na to oko.
Skupmy się na razie na tym jak policzyć korelację pomiędzy dwoma pytaniami, np. ogólną oceną z zajęć a ogólną oceną prowadzącego.
Problem z liczeniem korelacji zilustrujemy takim przykładem. Przypuśćmy, że poniższa tabela opisuje wyniki z czterech ankiet.

Korelacja próbkowa dla odpowiedzi na te pytania to 0,8. Ale jest ona pochodną tego, że jeden prowadzący został wysoko oceniony a drugi nisko. Mamy bowiem do czynienia z grupami odpowiedzi o potencjalnie różnych rozkładach (średnich) i obserwujemy mieszaninę takich grup. Spróbujmy oddzielić wpływ prowadzącego na ocenę i wpływ rozumienia pytania 1 i 2 przez oceniającego studenta.

Licząc średnie w kolumnach, możemy każdemu prowadzącemu przypisać średnią ocenę na zadane pytanie.

Jeżeli teraz policzymy korelację pomiędzy takimi średnimi otrzymamy korelację równą 1. Ta korelacja opisuje jak bardzo podobne są charakterystyki 1 i 2 prowadzących. Wysoka korelacja świadczy o tym, że prowadzący wysokich odpowiedziach na jedno pytanie mają też wysokie odpowiedzi na drugie pytanie.

Zobaczmy teraz jak wyglądają różnice pomiędzy wynikami z ankiet a średnimi wynikami prowadzących (będę je poniżej nazywał resztami)

To oczywiście skrajny przykład, ale ma na celu pokazanie, że licząc korelację na średnich lub na resztach można nadać interpretację takich korelacji. Liczenie korelacji z pominięciem informajcie o ,,efekcie prowadzącego” utrudnia lub uniemożliwia określenie co dokładnie ta korelacja mierzy. Liczba jakaś zawsze wyjdzie, ale co ona znaczy?
Tego typu problem polegający na obserwowaniu wartości z grupy niejednorodnych podpopulacji jest w analizie danych dosyć częsty, warto więc być na niego wyczulonym.

Ok, a jak to wygląda dla naszych danych, tj wyników ankiety dotyczacych semestru zimowego 2010?
Dostęp mam tylko do odpowiedzi na 8 z wymienionych 11 pytań, dlatego poniżej pokazuję macierz korelacji tylko dla tych 8 pytań.
Pierwsza macierz pokazuje korelację pomiędzy średnimi dla prowadzących, druga to korelacja pomiędzy resztami.
Jak widzimy te macierze dosyć się różnią.

Macierz korelacji dla średnich ocen prowadzących.

Macierz korelacji dla różnic pomiędzy ocenami prowadzących a wynikami ankiet.

Powyższe macierze różnią się. Najbardziej różnią się korelacje pomiędzy oceną opiniowanych zajęć a pozostałymi odpowiedziami. Patrząc na korelacje liczone na średnich dla prowadzących mamy wysoka korelację, która świadczy o tym, że jeżeli prowadzący jest wysoko oceniany to i zajęcia są wysoko oceniane (i symetrycznie, korelacja jest symetryczną miarą).
Porównując korelacje liczone na resztach, widzimy brak istotnych korelacji. Co znaczy, że studenci inaczej interepretują ocenę prowadzącego i ocenę przedmiotu. Uwzględniwszy ,,efekt prowadzącego” odpowiedzi na te pytania są nieskorelowane. Pozostałe pytania są skorelowane w podobnym stopniu, co można interpretować tak, że wszystkie pytania poza siódmym oceniają różne cechy prowadzącego, sposobu przekazywania wiedzy, uporządkowania, charyzmy itp. Pytanie 7 w percepcji studentów dotyczy wyłącznie oceny przedmiotu.

Dociekliwi zauważą, że podobnie jak braliśmy pod uwage ,,efekt prowadzącego” tak i powinniśmy brać pod uwage ,,efekt studenta”. Nie jesteśmy jednak w stanie tego zrobić, ponieważ ankiety są anonimowe i nie ma jak policzyć średniej odpowiedzi na wybranego studenta. Ponieważ jednak liczba ankiet na studenta jest mnijesza niż liczba ankiet na przedmiot więc można mieć nadzieję, że efekt studenta jest znacznie mniejszy.

Pointa?
Przedstawianie różnych charakterystyk danych z ankiet to świetny pomysł ale trzeba zastanowić się co prezentuje dana charakterystyka i czy przypadkiem nie jest ona obciążona jakimś innym efektem.
Licząc korelację na danych, które agregują wyniki z kilku grup należy wziąć pod uwage różnice pomiędzy grupami. Dzięki temu będzie można wskazać na jakim etapie korelacja/podobieństwo jest istotne.
Pytanie z którym należy się jeszcze zmierzyć to w jaki sposób pokazać macierz korelacji tak by dało się ją całą ogarnąć percepcją.

 

Po co używać wykresów kołowych, czyli raporty znanej fundacji a ,,lie factor”

Zacznę od tego, że FNP stara się czytelnie prezentować wyniki swoich konkursów. Z ostatniego konkursu START dla przejrzystości upubliczniono wnioski laureatów, a więc jest tutaj duża przejrzystość. NCN mógłby się dużo nauczyć (sposób ich publikacji wyników pierwszego konkursu pozostawia wiele pytań). Pisząc kolokwialnie, FNP robi świetną robotę (tzn. ludzie pracujący w tej fundacji).
Niemniej FNP też zdarzają się wpadki.

Na tej stronie przedstawiono raport z rekrutacji różnych programów prowadzonych przez Fundację.

Z jakiegoś powodu uznano, że trójwymiarowe wykresy kołowe nadadzą się do czegokolwiek. Tymczasem dwie pierwsze reguły wizualizacji danych to: nie uzywaj pseudo-trójwymiarowych wykresów jeżeli nie trzeba i nie uzywaj wykresów kołowych. Nie jest tylko jasne która z tych reguł jest pierwsza a która drugą. Pseudo-trzeci wymiar na wykresach oszukuje percepcję i nie pozwala na poprawną ocenę długości/szerokości itp. Wykresy kołowe sa niedobre ponieważ nie potrafimy dobrze porównywać kątów.

Zobaczmy przykładowy wykres prezentowany ww raporcie na stronie 2.

Co jest dziwnego w tym wykresie? Są dwa kawałki, które opisują po 5% i dwa opisujące po 11%, ale coś jest z nimi nie tak. Zmierzmy długości odpowiednich cięciw.

Długości tych cięciw w pixelach to odpowiednio 116, 211, 126, 46 pixeli.

Edward Tufte zdefiniował kiedyś współczynnik ,,lie-factor”, który liczony jest jako iloraz efektu widocznego na wykresie do efektu w danych.

Stosunek długości cięciw A:D to 116/46 = 2.6 podczas gdy z danych wynika, że powinny być to tej samej długości cięciwy.

Stosunek długości cięciw B:C to 211/126 = 1.7 podczas gdy z danych wynika, że powinny być to tej samej długości cięciwy.

Czy trzeba więcej argumentów przeciwko wykresom kołowym 3D?

W ogóle ilość danych przedstawionych w powyższym raporcie do jego objętości jest dosyć mizerna. Całą stronę 2 mozna by przedstawić za pomocą jednego wykresu na którym jest więcej informacji. Kod do wygenerowania tego wykresu znajduje się tutaj. A wykres poniżej (trochę lepiej wygląda dla innych progrmów gdzie było więcej lauretów)

Krytykując wykresy 3D spójrzmy jeszcze na poniższy z tego samego raportu. Pierwszy słupek ma wysokość 15% ale jest znacznie poniżej linii siatki oznaczającej 15%. Pewnie da się to jakoś wytłumaczyć, ale i tak dosyć dziwnie to wygląda.

 

Steve Jobs, stan nauki w Polsce i niezgoda na uliniawianie zależności

Ok, dzisiaj będzie ponownie o raporcie opracowanym w ramach programu Sprawne Państwo prowadzonego przez Ernst & Young. Odnosniki do raportu podalismy wczoraj. Dziś chciałbym przyjrzeć się wspólnie dwóm wykresom porównującym produktywność naukową w Polsce i w innych krajach.

Zacznę od jednego z moich ulubionych cytatów Steva Jobsa. Cytat dotyczy innowacyjności a innowacyjność kadry to moim zdaniem lepszy współczynnik oceny jakości uczelni niż produktywność liczona liczbą publikacji na nauczyciela akademickiego.

Innovation has nothing to do with how many R&D dollars you have. … It’s not about money. It’s about the people you have, how you’re led, and how much you get it.

Cytat ten nasunął mi się na myśl gdy zobaczyłem rysunek 11 w wspomnianym raporcie.

Dlaczego? Na tym wykresie (co za dobór państw do porównania?) Polska charakteryzuje się naniższymi rocznymi przychodami na pracownika. Na stronie 67 wspomnianego raportu napisano niebacznie ,,Wyniki estymacji ekonometrycznej wskazują w przypadku polskich uczelni wzrost finansowania na pracownika o 1% może być powiązany ze wzrostem efektywności badawczej aż o 4%”. Więc zwiększenie finansowania o 100% (co łatwo uzyskać zwalniając połowe pracowników) spowoduje wzrost efektywności o 400% (a tym samym przeskoczymy Finlandię i Niemcy, najbardziej zaawansowane technologiczie gospodarki w Europie).

Nie chciałbym tu romantycznie wieścić, że gdyby tylko Polska nauka była lepiej finansowana to stalibyśmy się liderem w Europie. Bo to nieprawda. Wcale nie chodzi tylko o ilość pieniędzy wpompowywanych (czy też w przypadku Polski, przesiąkających) w naukę. Chodzi o to czy naukowcy potrafią tę naukę uprawiać, czy potrafią współpracować, publikować, zarządzać zespołem itp. Moim zdaniem brak tych umiejętności to jeszcze większa bolączka niż problemy finansowe. Przygotowuję w wolnych chwilach esej ,,Fabryka i Świątynia”, szerzej tam ten temat rozwinę.

Ale na razie chciałbym porzestać na zakwestionowaniu sensowności dodawania linii trendu liniowego na powyższym wykresie.

Rozumiem, że gdy ma się młotek wszystko wygląda jak gwóźdź. Ale nawet w Excelu można dopasowywac inną krzywę trendu!
Model w którym średnia liczba publikacji zależy liniowo od rocznych przychodów na pracownika jest wysoce wątpliwy. Sama Polska na tym wykresie wygląda bardziej jak wartość odstająca, niż jak przypadek potwierdzający liniowość.

Drugi wykres w którym autorki wsadziły linie trendu liniowego jest na stronie 70 (wykres 14). Jest całkiem dobrą ilustracją paradoksu Simpsona.

 

Ta pseudoliniowość, która jest zaznaczona linią regresji wyliczona jest na bazie pięciu widocznych gołym okiem podpopulacji (nisko-publikujące uczelnie w UK, wysoko publikujące uczelnie w UK, uczelnie w Finlandii, Polsce i Szwajcarii, każde z nich tworząca osobne skupisko punktów na wykresie).

Co więcej w żadnej z tych podpopulacji trend nie jest podobny do wyrysowanego trendu liniowego. W Szwajcarii żaden trend liniowy nie jest widoczny, w dobrze publikujących uczelniach z UK krzywa trendu jest znacznie ostrzejsza, w słabo publikujaych uczelniach z UK jest znacznie słabsza.

Jedyny wniosek jest taki, że nie ma żadnego sensu liczyć pseudo trendu agregując uczelnie z czeterech państw razem.
Nie szukajmy liniowości na siłę tam gdzie ich nie ma a tym bardziej nie twórzmy wykresów, które sugerują tą zależność.

Ernst & Young, Sprawne Państwo a paradoksy w ocenie uczelni w Polsce

Dzisiaj podzielę się moim zaskoczeniem, gdy próbując odtworzyć wykres z raportu na podstawie danych z tego samego raporu otrzymałem zupełnie inne wyniki.

Kilka dni temu zgłosiłem apel o pomoc w zdobyciu danych dotyczących rozwoju pracowników naukowych. W ciągu tych kilku dni otrzymałem kilka listów z sugestiami ciekawych raportów dotyczący stanu nauki w Polsce. Między innymi od Krzysztofa T. dostałem namiar na raport ,,Produktywność naukowa wyższych szkół publicznych w Polsce” opracowany w ramach programu Sprawne Panstwo (program firmy Ernst & Young). Raport dostępny jest w postaci elektronicznej tutaj.

Po raporcie widać, że przygotowano go przez profesjonalistów. Ładnie dobrane odcienie szarości i pojawiające się łacińskie wtącenia sprawiają wrażenie rzetelności i profesjonalizmu. Jest też dużo tabelek z danymi (to na plus), odnośników do źródeł danych (to też na plus).

Niestety od strony statystycznej można się przyczepiać. Ponieważ generalnie cieszę się ze taki raport powstał, więc nie będę się czepiał bardzo, tylko na dwóch wpisach, tym i kolejnym ;-).

Zaczęło się od rysunku 12 ze strony strony 68 (patrz niżej) gdzie przedstawiona jest zależnośc pomiędzy przychodem na pracownika uczelni a liczbą publikacji na Nauczyciela Akademickiego (oznaczanego w całym raporcie konsekwentnie NA).

Pechowo na wykresie nie zaznaczono, która kropka to która uczelnia. Zaciekawiony która to kropka odpowiada najbardziej na prawo wysuniętej politechnice zacząłem przeglądać tabelę z danymi. Tabele 11 i 12 wydawały się pasować. W odpowiednich kolumnach przedstawiano i liczbę publikacji na NA i przychód na pracownika. Zrobiłem więc wykres o podobnych oznaczeniach jak ten prezentowany w raporcie, bazując na danych które przedstawiono w tymże raporcie i ze zdziwieniem zobaczyłem zupełnie inny obraz politechnik i uniwersytetów.

  • Z wykresu prezentowanego w raporcie wynika, że dwie uczelnie o najwyższych wskaźnikach publikacja na NA to uniwersytety.
  • Za to z wykresu prezentowanego na bazie danych które sa w raporcie wynika że w ścisłej czołówce uczleni o najwyższych wskaźnikach publikacja na nauczyciela akademickiego jest więcej politechnik.
  • Z wykresu prezentowanego w raporcie wynika, że przy tym samym przychodzie na uniwersytetach jest średnio więcej publikacji na PA niż na politechnikach (ciągła linia nad przerywaną)
  • Tymczasem z wykresu na bazie danych z raportu wynika rzecz zupełnie odwrotna, mianowicie że przy tym samym przychodzie na uniwersytetach jest średnio mniej publikacji na PA (ciągła linia pod przerywaną).

Przy okazji wyjasnijmy fenomen Uniwersytetu Jagielońskiego. Odstaje on znacząco od pozostałych uniwersytetów, tak bardzo że to aż zastanawia. Więc postawmy zagadkę dla czytelników, co ma UJ czego nie ma żadna duża z prezentowanych uczelni publicznych? Poniżej wykres tej samej zależności ale po usunięciu UJ. Pod wykresem znajduje sie odpowiedź na powyższą zagadkę.

UJ ma wydział lekarski i farmaceutyczny. We Wrocławiu, Warszawie czy Katowicach wydziały lekarski jest na Uniwersytecie Medycznym. Jeżeli chcieć uczciwie porównać różne uniwersytety to trzeba uwzględnić różną czestość publikowania w różnych dziedzinach. Umieszczanie UJ z wydziałem lekarskim w tej samej kategorii co pozostałe uniwersytety to błąd.

 

Różnica pomiędzy danymi a wykresami bieże się stąd, że dane przedstawiono dla jednego roku (2007/2008) podczas gdy na wykresach prezentowane są wskaźniki uśrednione z 10 lat, same wskaźniki nie sa jednak w raporcie prezentowane. Dziwne to.