Czy Jaś do Zuzi ma się tak jak John do Susan? Czyli o różnicach i brakach różnic.

 

W poniedziałkowym wpisie pisałem o tym jaki procent kobiet można spotkać w finałach OM, na wydziale MIMUW, w sejmie lub w gronie ekspertów NCN. Temat, który pojawił się w komentarzach do tego wpisu to linki do raportów o średnio równych lub lepsze wynikach kobiet w testach gimnazjalnych i średnio niższych zarobkach w branży IT (i pewnie wielu innych).

Dzisiaj napiszę kilka zdań nt. różnic pomiędzy wynikami chłopców i dziewcząt w różnych testach. Nazwa ‘efekt płci’ jest być może myląca, ponieważ nie jest oczywiste czy różnice które się pojawią są konsekwencją samej płci i związanej z nią biologii, czy też różnicom w traktowaniu, wychowaniu, motywowaniu do nauki itp.

Plan jest następujący: Pokażę wyniki z testów gimnazjalnych, ponarzekam na złą prezentacje graficzną tych wyników i nadużywanie nieszczęsnej, niczego nie mówiącej średniej. Porównam te wyniki z wynikami testu SAT, który zdaje w Ameryce wielu 17-18 latków, przetłumaczę kilka interesujących komentarzy różnych badaczy studiujących temat różnic w osiągach w edukacji. Okazuje się bowiem, że jest to bardzo gorący temat i z olbrzymiej liczby dostępnych publikacji można wyłowić czasem bardzo rozbieżne wyniki.

Testy podsumowujące gimnazjum

Zaczniemy od wyników z raportu Centralnej Komisji Egzaminacyjnej z roku 2011 podsumowującego wyniki gimnazjalistów kończących edukację w gimnazjum, a więc osób średnio w wieku 16 lat. Raport jest bardzo rozbudowany, ale na nasze potrzeby przyjrzymy się wynikom z części humanistycznej i z części matematyczno-przyrodniczej przytaczając wyniki w rozbiciu na płeć.

 

[Rysunek 1. Procent uczniów, którzy uzyskali określoną liczbę punktów z części humanistycznej w podziale na płcie. Ewidentnie dziewczęta maja średnio wyższą liczbę punktów niż chłopcy]

[Rysunek 2. Procent uczniów, którzy uzyskali określoną liczbę punktów z części matematyczno-przyrodniczej w podziale na płcie. Na pierwszy rzut oka nie widać różnic. Średni wynik dziewcząt jest wyższy niż średni wynik chłopców.]

Dodatkowo w raporcie przedstawione są średnie wyniki testu dla dziewcząt i chłopców. Średnie wyniki dla dziewczynek są wyższe w obu częsciach, dla testu humanistycznego znacząco, dla testu matematyczno-przyrodniczego nieznacznie.

Jest kilka interesujących kwestii związanych z wynikami testów gimnazjalnych, przedstawię je w punktach.

  • Rozkład ocen. W przypadku wyników z części humanistycznej rozkład dla każdej z płci przypomina krzywą Gaussa, co sugeruje jednorodną populację w której końcowy wynik to składowa wielu niezależnych czynników, które się ma lub nie ale w sumie wychodzi taki symetryczny dzwon. W części matematycznej jest inaczej. Brak Gaussowskości, brak symetrii może wynikać z tego że populacja jest niejednorodna (grupy osób w rożnym stopniu pracujących nad matematyką) albo z tego, że czynniki które się sumuje nie są niezależne. Która z tych przyczyn ma miejsce można sprawdzić jedynie mając odpowiedzi cząstkowe, więc na razie tego tematu nie będę rozwijał.
  • Sposób porównywania rozkładów. Do porównywania rozkładów wyników autorzy raportu zdecydowali się na porównywanie gęstości. Może one i ładnie wyglądają na rysunku, ale ich użyteczność jest praktycznie zerowa. W przypadku wyników z części humanistycznej przewaga dziewcząt jest tak wyraźna, że jak by jej nie przedstawić byłoby ją widać. Ale w części matematyczno-przyrodniczej sposób prezentacji uniemożliwia porównanie tego co ciekawe. I tutaj pojawia się pytanie co może być ciekawe.
    •  Jedną z ciekawych rzeczy to która płeć na częściej najgorsze wyniki. Np. spójrzmy na 5% gimnazjalistów o najgorszych wynikach – te osoby powinny nie są gotowe by żyć w świecie liczb, może koedukacja nie jest dobra, może należy te osoby inaczej uczyć – i zobaczmy która płeć tam dominuje. Dokładnie nie da się tych proporcji odczytać, ale wygląda na to, że wśród najgorszych gimnazjalistów z egzaminu matematyczno-przyrodniczego jest więcej chłopców.
    • Drugą ciekawą informacją to która płeć ma najlepsze wyniki. Spójrzmy na 5% gimnazjalistów o najlepszych wynikach – te osoby mają szansę zostać głównymi architektami, projektantami, budowniczymi itp, zobaczmy która płeć tu dominuje. Z wykresu nie da się odczytać dokładnie  tych proporcji odczytać, ale wygląda na to, że wśród najlepszych gimnazjalistów z egzaminu matematyczno-przyrodniczego jest więcej chłopców.
  • W obu powyższych przypadkach te różnice nie są duże, ale pokazują, że patrzenie na średnie albo porównywanie gęstości to nie jest najlepsze rozwiązanie. Lepiej byłoby pokazywać kwantyle lub dystrybuanty. Może dystrybuanta nie wygląda równie ładnie graficznie, ale interesujących informacji niesie więcej.

Testy SAT MATH

Zobaczmy jak wyglądają wyniki z egzaminów w Ameryce. Ameryka to dobry przykład ponieważ po pierwsze tam wszystko jest mierzone a po drugie jest tam sporo osób, które potrafią mierzyć i potrafią z pomiarów wyciągać wnioski.
Najczęściej przedstawianymi w literaturze wynikami są wyniki z egzaminów SAT (zgodnie z wikipedią ta nazwa była kiedyś skrótem ale już nie jest, jest pustym akronimem, dlatego jej nie rozwijam). Ten test robi się najczęściej w wieku 17-18 lat, nie jest obowiązkowy w skali kraju ale jest wymagany podczas przyjęcia na wiele uczelni. Dla mnie wyniki z tego testu są o tyle interesujące, że różnią się znacząco od wyników z testów gimnazjalnych w Polsce. Zobaczmy wyniki części matematycznej testu SAT
[Rysunek 3. Średnie wyniki testu SAT MATH w kolejnych latach dla kobiet i mężczyzn. Na podstawie An Empirical Analysis of the Gender Gap in Mathematics. Wybór skali jest tendencyjny, możliwe do uzyskania wartości to od 0 do 600.]
Na wynikach testu SAT MATH widać znacznie wyższe wyniki mężczyzn niż kobiet. Czym różnią się porównywane populacje polskich gimnazjalistów i amerykańska?
  • wiekiem. Gimnazjaliści robią test dwa lata wcześniej. Dwa lata to nie jest dużo dla dorosłych, ale akurat tutaj trafimy w okres dojrzewania, który u dziewczynek jest w 9-16 roku życia a u chłopców w 10-18 roku życia. Dojrzewanie może mieć to znaczący wpływ na wyniki, bez dodatkowych informacji nie jesteśmy jednak go w stanie uwzględnić.
  • powszechnością wykonywania testu. Test gimnazjalny zdają wszyscy gimnazjaliści, więc praktycznie cała młodzież. Test SAT wykonują osoby planujące dalszą edukację, co w stanach oznacza, osoby bardzo dobre albo mające pieniądze na dalszą edukację.
  • jednorodnością populacji. Populacja w Polsce jest bardziej jednorodna genetycznie niż w populacja w Ameryce.
  • kultura, klimat itp.
Ciekawą dyskusję przeprowadzono tutaj na temat efektu powszechności testu. Tzn. część badaczy uważała, że wyniki pomiędzy kobietami a mężczyznami w teście SAT można wyjaśnić tym, że mniej kobiet ten test zdaje. Tymczasem jest odwrotnie. Tz kiedyś proporcje kobiet do mężczyzn zdających test SAT były bardziej równe niż teraz ale też średnie różnice w wynikach były kiedyś bardziej różne niż są teraz.
Narzekałem sporo na średnie, później chwaliłem ludzi zza oceany, że potrafią oni liczyć a tym czasem prezentuję średnie dla wyniku SAT MATH. Ok, czas na poprawę.
W artykule The Gender Gap in Secondary School Mathematics at High Achievement Levels porównywane są wyniki testu SAT z wynikami bardziej wymagających testów, mianowicie konkursów matematycznych organizowanych przez ACM. Po drugie, zamiast patrzeć na średnie, porównuje się udział kobiet w grupie osób mających x% najlepszych wyników.
Tak się to robi!
Zobaczmy wykres
[Rysunek 4. Udział kobiet (os OY) w grupie osób o x% najlepszych wyników (oś OX). Na podstawie artykułu tutaj]
Z rysunku 4 można odczytać trend im wyżej odcinamy tym więcej mężczyzn będzie w odciętej grupie. Czy taki podobny trend obserwuje się w wynikach z gimnazjów nie wiadomo, ponieważ tam badacze zdecydowali się na pokazywanie gęstości.

Podsumowanie

Chciałbym dostać się jakoś do wyników z gimnazjum i z matur, może jesteście w stanie jakoś mi pomóc?
Ciekawe byłoby porównanie wyników z testu gimnazjalnego i wyników z matur.
Ciekawe byłoby też określenie jak motywacja do nauki wpływa na wyniki, i czy można zidentyfikować efekt motywowania dziecka do nauki.

Ważny komentarz

Porównywanie rozkładów wyników to ciekawe zadanie dotyczące dużych populacji. Może być użyteczne w planowaniu systemu edukacji (np. zasadności koedukacji). Nie należy jednak przeceniać tych efektów gdy mówi się o jednostkach. To, że jest większa obecność mężczyzn w grupie osób, które mają wysokie wyniki SAT MATH nie miało wpływu na fakt, że jedyną osoba z dwoma nagrodami Nobla w dwóch różnych dziedzinach nauk przyrodniczych jest kobieta Maria Skłodowska-Curie. To, że kobiety mają więcej punktów z części humanistycznej nie miało wpływu na fakt, że najlepszym polskim poetą jest mężczyzna Zbigniew Herbert*.

 

* Oczywiście w przypadku poetów jest to zupełnie subiektywne odczucie.

Czy internauci czytają książki? A czy je kupują?

Czy zdarza Wam się, że jakieś pytanie chodzi po głowie tak natarczywie, że nie możecie się go w żaden sposób pozbyć i jedyny sposób by dalej funkcjonować to poszukać odpowiedzi? Jeżeli tak, to zrozumiecie dlaczego dziś znów nie będzie prezentacji raportu o badaniach klinicznych.

 

W poniedziałek we wpisie o raporcie ,,Obiegi Kultury” krytycznie odnosiłem się do wartości 89%, która miała opisywać jak wielu z ,,intensywnych internautów” czyta książki. Pisałem, że dużo jest wśród ankietowanych osób młodych (system edukacji zmusza ich do czytania ;-)) dużo jest osób z wyższym wykształceniem itp.

Ale przecież nic nie stoi na przeszkodzie by procent czytających policzyć wśród tych internautów, którzy ani nie są młodzi ani nie mają wyższego wykształcenia. Dane są dostępne, formularze są dostępne (to dobry przykład, jak być powinno). Zobaczymy co wyjdzie.

Komentarz techniczny: najbliższe kilka rysunków jest otrzymanych z użyciem pakietu rms. W modelu regresji logistycznej badane są interakcje pomiędzy wiekiem (spajny 5 stopnia) a wykształceniem. Z poniższych analiz usunąłem osoby z wykształceniem podstawowym ponieważ było ich zbyt mało by wykonać dla nich takie modelowanie. Próba nie jest bardzo duża, dlatego oceny efektów są obarczone dużą niepewnością. Czytaj: Gładkość poniższych krzywych została wymuszona by otrzymać czytelne wyniki.

[Rysunek 1. Frakcja osób deklarujących przeczytanie przynajmniej jednej książki w okresie ostatniego roku, jako funkcja wieku w rozbiciu na grupy wykształcenia. Wersja grafiki w formacie wektorowym znajduje się tutaj.]

Z rysunku 1 można odczytać, że procent osób deklarujących przeczytanie przynajmniej jednej pozycji jest wysoki w każdej grupie wykształcenia w każdym wieku. Nie jest więc tak, że nadreprezentowane grupy młodych i wysoko wykształconych ,,podbiły” procent czytających. Wygląda na to, że bez względu na wiek i wykształcenie internauci czytają dużo.

Pierwszy głód zaspokojony, ale czas na więcej. W ankiecie poza pytaniem o liczbę przeczytanych książek pojawia się też pytanie o liczbę przeczytanych książek papierowych, elektronicznych, książek do słuchania w formacie audio (swojsko nazywanych audiobookami). Przyjrzyjmy się więc bliżej temu kto, co i kiedy czyta/słucha. Poniższe odpowiedzi dotyczą pytań o ostatnie 3 miesiące.

 

[Rysunek 2. Frakcja osób deklarujących przeczytanie przynajmniej jednej książki w formacie papierowym, elektronicznym lub do odsłuchu w okresie ostatnich trzech miesięcy, jako funkcja wieku w rozbiciu na grupy wykształcenia. Wersje wektorowe znajdują się: tutaj ,,czyta papierowe”tutaj ,,czyta elektroniczne”tutaj ,,słucha audiobooki”.]

Frakcja osób czytających książki papierowe jest bliska frakcji osób czytających cokolwiek. Największa zmiana dotyczy grupy ankietowanych o wykształceniu zasadniczym. Co ciekawe forma papierowa dominuje nawet wśród intensywnych internautów.  Jako osoba uzależniona od książek w formacie audio, dziwi mnie, że tak niewiele osób słucha książek w formacie elektronicznym. Jest to świetna rozrywka podczas jazdy na rowerze lub za kierownicą samochodu.

Zbadajmy dokładniej temat książek papierowych, zobaczmy gdzie ankietowani mają kontakt z książkami papierowymi.

[Rysunek 3. Frakcja osób deklarujących zakup, pożyczenie, skserowanie, otrzymanie lub danie przynajmniej jednej książki w formacie papierowym w okresie ostatnich trzech miesięcy, jako funkcja wieku w rozbiciu na grupy wykształcenia. Wersje wektorowe znajdują się: tutaj ,,kupił dla siebie”tutaj ,,pożyczył z biblioteki”tutaj ,,skserował lub pożyczył”tutaj ,,kupił w prezencie”tutaj ,,otrzymał w prezencie”.]

Ciekawe. Co prawda internauci czytają dużo książek, ale nie wiadomo skąd je biorą. Rzadko kupują, rzadko pożyczają, rzadko dostają. Widać te książki w postaci papierowej po prostu się ma ;-)

Jak już jesteśmy przy temacie źródeł posiadania. Spójrzmy na osoby, które czytały w ostatnich 3 miesiącach książki w formacie elektronicznym. I zobaczmy ile z nich takie książki kupuje dla siebie legalnie a ile ściąga za darmo z internetu (pytanie A13). Następnie testem chi kwadrat (nie najlepszy ale najpopularniejszy) zobaczymy czy jest jakaś zależność.

P-wartość dla testu chi kwadrat to 0.4 (dla testu Fishera podobnie), czyli brak istotnej zależności. Nie udało się pokazać, że osoby które więcej ściągają więcej też kupują.

Zobaczmy jak to wygląda w przypadku audiobooków.

Test chi kwadrat zwraca p-wartość 0.2, czyli brak istotnej zależności. Przyglądając się obu tabelkom, widzimy że najczęstszy wybór to ,nie kupuje ale ściąga’.

Jeżeli już jesteśmy w ciągu testów chi kwadrat, to wykonajmy jeszcze jeden, dla muzyki. Zobaczmy jak wygląda zestawienie zmiennej ,słucham oryginalnych płyt CD i kupiłem dla siebie ostatnio przynajmniej jedną’ a zmienna ,ściągam albumy z muzyką z internetu’.

Wartość 9 oznacza prawdopodobnie odmowę udzielenia odpowiedzi, choć nie ma jej opisanej w formularzu. Jeżeli pominąć wiersz z osobami które odpowiedziały 9, to test chi kwadrat zwróci p-wartość na poziomie 0.2.

Ok. Podsumowując wśród internautów nie widać zależności pomiędzy ściąganiem z internetu książek czy muzyki a kupowaniem oryginałów. Wciąż może być różnica pomiędzy internautami i resztą populacji. Z książkami w wersji papierowej wygląda na to, że internauci więcej czytają.

Na koniec jeszcze jeden obrazek odnoszący się do komentarza poprzedniego wpisu. Chodzi o % oryginalnych książek a liczbę książek w ogóle.

[Rysunek 4. Liczba książek na półce a procent oryginalnych książek. Nie ma silnej tendencji, ale wygląda na to, że im więcej książek tym większy procent z nich to oryginały. Kliknij aby otworzyć wersję wektorową.]

[Rysunek 5. Liczba oryginalnych płyt CD na półce a procent oryginalnych płyt. Kliknij aby otworzyć wersję wektorową.]

 

Raport ,,Obiegi kultury”

Na dziś zaplanowany był przemiły raport o badaniach klinicznych. Ale ponieważ od kilku osób dostałem informację o raporcie ,,Obiegi Kultury” wykonanym przez CentrmCyfrowe.pl z środków Narodowego Centrum Kultury więc stwierdziłem, że badania kliniczne mogą poczekać.

Wspomniany raport ,,Obiegi Kultury” w kilku wersjach i z oryginalnymi danymi znaleźć można pod adresem http://obiegikultury.centrumcyfrowe.pl/. Raport opisuje wyniki z badania, które poświęcone było obiegowi formalnemu i nieformalnemu (czy też legalnemu i nielegalnemu) treści takich jak książki, muzyka i filmy. Słowo ,,formalny” używane jest w słownikowym znaczeniu ,,zgodny z przepisami”, ale wygląda łagodniej niż słowo ,,legalny”. Badanie przeprowadzono w dwóch fazach, pilotażowej i właściwej. W drugiej fazie przebadano 1284 osób opisujących się jako aktywni internauci. W raporcie podejmowana jest próba charakterystyki kim są Ci aktywni internauci i jak mają się oni do całego społeczeństwa. Jednym z najbardziej znanych wniosków z raportu, jest ocena, że Intrenauci co prawda konsumują bardzo wiele treści nieformalnych/nielegalnych ale też konsumują bardzo wiele treści formalnych/legalnych, znacznie więcej niż średnia w społeczeństwie. Przyjrzymy się temu fenomenowi bliżej. A zaczniemy od krótkiej charakterystyki mocnych stron badania i raportu.

Co mi się podobało

  • Bardzo podoba mi się przejrzystość sposobu przeprowadzenia badania. Zarówno daty przeprowadzenia badania, postawione cele, użyte w badaniu formularze oraz surowe wyniki z ankiet są dostępne na wymienionej już stronie www raportu. Jeżeli więc nie zgadzamy się z jakimś wnioskiem możemy sami sprawdzić jak sprawa wygląda.
  • Bardzo podoba mi się streszczenie raportu przygotowane w atrakcyjnej graficznie formie na stronie http://obiegikultury.centrumcyfrowe.pl/mashup/. Sam raport ma 100 stron, jeżeli więc nie mamy czasu na czytanie całej książeczki to możemy poświęcić kwadrans na zapoznanie się ze streszczeniem, które bardzo przyjemnie się czyta/ogląda. Wielkie brawa, wreszcie streszczenie, które zachęca do czytania/oglądania.
  • W raporcie przedstawione są wyniki z badania Internatutów a następnie te wyniki są komentowane, rozszerzane przez badaczy prowadzących badania o zbliżonej tematyce. Np. przez Dominika Batorskiego (m.in. badanie Diagnoza Społeczna), Piotr Toczyski (m.in. World Internet Project), Przemysław Zieliński (m.in. Obserwatorium Żywej Kultury). Czytając ,,Obiegi kultury” co jakiś czas zadawałem sobie pytanie, a jak to wygląda w Diagnozie Społecznej, a jak to wyglądało w raporcie Młodzi 2011. Dodanie komentarzy innych badaczy w dużej części pozwalają na odniesienie się do innych badań.

Były też rzeczy , które mi się nie podobają. Jak np. poniższy rysunek, na którym długości słupków NIE odpowiadają prezentowanym liczbom.

[Rysunek 1. Z jakiegoś powodu długość słupka 14% jest większa w stosunku do długości słupka 81% niż by to wynikało z ilorazu tych dwóch procentów]

 Ale nie chciałbym tutaj krytykować drobiazgów, bo mam ciekawszy temat.

Jak już wspomniałem, jedna z głównych obserwacji dotyczy dużego zaangażowania w kulturę ,,formalną” osób, które intensywnie korzystają z kultury ,,nieformalnie”. A dokładniej to co się obserwuje, to że osoby intensywnie korzystające z Internetu częściej ,,nieformalnie” ściągają książki, muzykę i filmy (to nas nie dziwi) i te osoby też czytają więcej książek niż średnia w społeczeństwie.

Zobaczmy więc bliżej, kim są osoby uczestniczące w badaniu. Zacznijmy od przyjrzenia się strukturze wykształcenia.

[Rysunek 2. Struktura wykształcenia osób ankietowanych w drugiej fazie badania ,,Obiegi kultury”] .

Zauważmy jak wiele osób wśród aktywnych internautów to osoby z wykształceniem wyższym lub średnim. Prawie 90%. Zapala się pierwsza lampka ostrzegawcza, grupa II (intensywnych internautów) nie ma tej samej struktury wykształcenia co całe społeczeństwo, są to osoby lepiej wykształcone, nie dziwi więc że więcej czytają niż średnia.

Zobaczmy jak wygląda wiek ankietowanych w podziale na grupy wykształcenia.

[Rysunek 3. Rozkład wieku w grupach wykształcenia. Szerokość ,,bączka” jest proporcjonalna do liczby osób w danym wieku. Im szerszy bączek w danym miejscu tym więcej osób jest w takim wieku, wiek jest na osi pionowej].

Sprawa z książkami wygląda na coraz mniej oczywistą. W grupie osób z wykształceniem podstawowym większość to osoby w wieku 17-19 lat, które jeszcze nie zdobyły wykształcenia średniego, prawdopodobnie uczą się jeszcze w szkole średniej i nie dziwi, że czytają książki.

W grupie osób z wykształceniem średnim znaczna część osób ma blisko 20 lat. To prawdopodobnie studenci, nie powinniśmy dziwić się, że czytają książki.

W grupie osób z wykształceniem wyższym najwięcej jest osób świeżo po studiach lub jeszcze na drugim lub trzecim etapie studiów. Ponownie to, że doszkalają się, co wymaga czytania, też nas nie dziwi. Przekornie można by zapytać czy to, że tylko 89% z nich przeczytało przynajmniej jedną książkę czy to nie za mało ;-)

Co to oznacza? Że jeżeli chcemy uczciwie porównać ,,oczytanie” naszych II należały je porównać względem grupy o podobnej strukturze wykształcenia i wieku. Wtedy moglibyśmy zastanawiać się czy osoby z wykształceniem wyższym w wiek 30 lat więcej czytają książek gdy intensywnie korzystają z internetu czy też gdy nie robią tego aż tak intensywnie.

 

W formularzu ankiety znalazło się bardzo ciekawe pytanie mające ocenić, czy niechęć do zakupów oryginalnych utworów wiąże się z ich ceną (blok psychograficzny, pytanie ,,Ceny muzyki i filmów, są w Polsce tak wysokie, że trudno się dziwić ludziom, którzy pozyskują takie rzeczy za darmo z Internetu”). Zestawmy odpowiedzi na to pytanie z deklarowanymi przychodami gospodarstwa domowego.

 [Rysunek 4. Zależności pomiędzy dochodem gospodarstwa domowego a oceną, że filmy i muzyka są drogie i dlatego nie dziwi, że ludzie je ściągają. Wysokość poziomego paska jest proporcjonalna do liczby gospodarstw o danym dochodzie. Szerokość paska o jednym kolorze odpowiada frakcji osób o danym zdaniu n.t. ściągania w danej grupie dochodów. Czyli np. szerokości czerwonych pasków odpowiadają % osób które nie zgadzają się, że ceny muzyki i filmów uzasadniają ich nieformalne ściąganie.]

Na rysunku 4. Kolorem czerwonym i pomarańczowym zaznaczono procent osób, które nie zgadzają się, że cena uzasadnia ,,nieformalność”. Kolorem seledynowym i niebieskim oznaczono frakcje osób, które uważają że cena jest uzasadnieniem ,,nieformalności”. Pytanie nie wprost ,,czy uważasz, że ludziom trudno się dziwić” zamiast wprost ,,czy dla ciebie cena jest argumentem” wciąż bada tak naprawdę preferencje ankietowanego.  (To zdanie wykreslilem uwzgledniajac komentarze i to, ze nie wynika one z danych a bylo wylacznie moim ,,gdybaniem”).

Co jest bardzo ciekawe to, że frakcja osób uważających, że cena jest uzasadnieniem do ściągania nie zależy od dochodu gospodarstwa. Wręcz w grupie o najwyższych dochodach najwięcej osób podaje kwestię ceny jako usprawiedliwienie ,,ludzi” dla nieformalnego źródła muzyki czy filmów.

 

Ostatni rysunek dotyczy struktury oryginalnych książek, płyt z muzyką, płyt z filmami na stanie posiadania.

 [Rysunek 5. Kolory odpowiadają osobom odpowiadającym, że mają w swojej kolekcji od 0% (ceglasty) do 100% oryginalnych produktów.]

Spójrzmy na te wyniki z perspektywy wypowiedzi, które można znaleźć w sieci ,,Oglądam na próbę, ale jak mi się spodoba to kupuję”. Nie wygląda na to. Mimo, że żyjemy w czasach streamingu, gdy nie ma potrzeby ,,składowania” filmów czy muzyki z nieformalnych źródeł, to wciąż około 50% osób ma ponad połowę nieoryginalnych kopii.

 

Ok, to na tyle jeżeli chodzi o moją naturę człowieka, który na każdy temat ma zawsze ,,przeciwną opinię”. Ale aby być czegoś pewien należy wykluczyć wszelkie inne możliwości. Myślę, że kolejnym krokiem, powinno być spojrzenie na wyniki z raportu i odniesienie ich do grupy osób o tej samej strukturze wieku i wykształcenia. Dzięki temu będzie można wykluczyć lub potwierdzić kontropinię, że większa ilość przeczytanych książek przez II wynika z aktu że znaczna część z nich jest jeszcze w szkole lub uczy się nowych technologii do pracy.

 

Ankiety a manipulacja

Następne kilka wpisów poświęconych będzie różnym raportom ,,o stanie Świata”’. Będzie technicznie więc na rozluźnienie dziś coś lekkiego.
Jakiś czas temu miałem przyjemność poprowadzić krótki ,Lunch & Learn’ dla zainteresowanych pracowników Netezza R&D IBM Polska (z którymi czasem coś robię). Prezentacja dotyczyła zagadnień związanych z wizalizacją danych, kilka typowych przykładów np. opisywanych przez Tufte’go jak i kilka lokalnych przykładów z naszego podwórka. Ponieważ uważam, że wizualizacje tworzy sie przede wszystkim po to by przedstawić  zależności, które są w danych, bez przekłamań i zniekształceń (estetyka jest ważna ale nie może być argumentem w zniekształcaniu zależności) to staram się też przekonywać, że błędy w wizualizacjach wynikają częściej z niewiedzy niż świadomej manipulacji.

Manipulacja wykresem ma tę ,,wadę’’, że osoby znające techniki manipulacji zauważą i zdemaskują próbę manipulacji. Więc przekornie można powiedzieć, że jeżeli już ktoś bardzo chce manipulować wynikami to znacznie lepiej manipulować danymi niż sposobem ich prezentacji (btw: Oczywiście nie na leży manipulować ani jednym ani drugim).

Wczoraj kolega przesłał mi link do artykułu pokazujący przykład maniplacji na etapie przygotowanie formlarza dla ankiet.
Link do artykułu znajduje się tutaj.
W artykule pokazywany jest przykład jak dobierając listę odpowiedzi w ankietach ,,zaprojektować’’ wynik.

Celem ankiety miało być określenie jaki procent Polaków ogląda telewizję powyżej 4 godzin. Odpowiadając ankietowani mieli kilka opcji do wyboru. W zależności od wyboru listy możliwych odpowiedzi uzyskuje się różne wyniki.

z11022341x

W cytowanym artykule jest sporo wody na ten temat, ale w skrócie różnice wynikach wynikały stąd, że pytanie było niejasne, pytano o rzecz o kórej większośc pytanych nie wiedziała (skąd mają wiedzieć jaka jest średnia danej cechy w populacji, wiedzą ile oni oglądają telewizji) lub której nie potrafi precyzyjnie ocenić (trudno precyzyjnie ocenić ile się czasu przeznacza na pewną aktywność, chyba że chodzi o godziny w pracy). Dlatego też część osób wybierała mniej lub bardziej losową odpowiedź. Projektując formularz możemy tą część losowych odpowiedzi przenieść tam gdzie chcemy np. w celu uzyskania oczekiwanych wyników.

Ok, nie jest celem tego wpisu szerzenie klimatów ,,statystycy nas okłamują, strzeżcie się’’. Celem jest pokazanie jak ważna jest dostępność surowych danych a nawet informacji jak wyglądały formlarze używane do zbierania danych. Celem jest pokazanie, że ilość czasu czy pieniędzy przeznaczona na analizy czy na szukanie i pytanie ankietowanych nie przekłada się na jakość wyników.

Aby mieć wyniki wysokiej jakości trzeba dbać o możliwie największą przejrzystość procesu projektowania, przeprowadzania i analizy.

 

zanuRkuj w R

Zostałem zaproszony do wygłoszenia referatu na seminarium poświęconym analizie danych. A ponieważ zapraszającym był sam Paweł Cichosz więc nie sposób było odmówić.

Seminarium odbędzie sie dziś o 12:15 (Gmach Elektroniki PW, sala 229 II piętro). Przy okazji powstała prezentacja, która może zaciekawi szersze grono odbiorców.

 

Slajdy są dostępne tutaj, kod w programie R jest dostępny tutaj.

Prezentacja miała nie być o statystyce, ale o języku R. Na omówienie języka jedno seminarium nie wystarczy, dlatego wybrałem siedem ciekawszych i bardziej zaawansowanych mechanizmów języka R. Dotyczą one takich aspektów jak waga atrybutów, funkcyjność, leniwa ewaluacja, przestrzenie nazw, profilowanie kod, automatyczne generowanie raportów z użyciem Sweave. Napisałem ,,zaawansowanych'; ponieważ nie są one omawiane w większości opracowań dotyczących R, a są moim zdaniem ciekawe i warto być ich świadomym.

 

Projekty, studenci, plagiaty, wizualizacje i R

Miało być o wizualizacji danych o diagnozie społecznej, ale będzie reklama pakietu nad którym pracuję.

Ale od początku. Co jakiś czas, średnio co semestr jakaś grupa moich studentów dostaje projekt polegający na wykonaniu wizualizacji wybranego zbioru danych w R. Jak dotąd pośród takich prezentacji można było znaleźć kilka rodzynków, czasami zaprezentowane są dosyć trafnie naprawdę ciekawe zależności. Wyniki z najnowszej wersji tego projektu niestety nie były tak rewelacyjne jak wyniki poprzednich roczników. Dlatego zamiast pokazać tutaj najlepsze z wykresów moich studentów, pokażę pakiet do wyszukiwania plagiatów który napisałem w poczekalni na lotnisku (ok, można było napisać kilka rzeczy efektywniej, nie jestem z aktualnej wersji zadowolony, po to ta wymówka).

 

Do rzeczy. Zadanie jest następujące. K zespołów studentów przygotowało wizualizacje i przesłała skrypty R generujące te wizualizacje. Studenci mogli pisać projekt w parach, dzięki temu poprawi się umiejętność współpracy wewnątrz zespołu i zmniejszy się liczba niechcianych współprac pomiędzy zespołami (niechcianych = nieudokumentowanych, o których prowadzący nie wie).

Wiele rzeczy można w R zrobić w jednej linii, ale nie wizualizacje. Bez względu na to jakiego pakietu używamy wykonanie dobrej wizualizacji oznacza dużo kodu i dużo czasu. Nie chodzi o to by jak najszybciej wygenerować wykres, ale żeby pokazać coś czego bez naszej wizualizacji nie widać na pierwszy rzut oka. Zazwyczaj nie mam problemu z plagiatami, szczęśliwie większość studentów jest bardzo samodzielna lub sprytniejsza niż ja. Ale w tym roku było inaczje.

Napisałem pakiet plagiat, który jest jeszcze w bardzo wczesnej wersji, ale można go ściągnąć ze tej strony. Można go też rozwinąć, gorąco do tego zapraszam. Funkcja parseAndPlot() z tego pakietu przyjmuje za argument listę plików tekstowych, dla każdej pary plików liczy długość najdłuższej wspólnej podsekwencji (bardzo prymitywnie, w gołym R, usprawnienie jest niewątpliwie potrzebne) a następnie graficznie przedstawia podobieństwa między plikami.

Miało być o wizualizacji, więc zobaczmy wynik tej funkcji dla przykładowych danych z ostatniego projektu.

 

 

[Rys 1. Wynik funkcji parseAndPlot() na zbiorze danych skryptów z 3 projektu. Wierzchołki oznaczają pliki z rozwiązaniami. Wielkość punktu jest wprost proporcjonalna do wielkości pliku R, krawędź jest zaznaczona jeżeli długość wspólnej podsekwencji przekracza 5% wielkości obu plików, w tym przypadku na krawędzi jest też wypisywany procentowy udział długości wspólnej sekwencji. Rozłożenie punktów jest automatyczne, dlatego nie wygląda na zbyt uporządkowane.]

Nazwy plików skróciłem do pierwszej litery, nie jest specjalnie ważne czyj jest który plik. Można dyskutować czy 16.8% (ponad 1200 znaków po usunięciu komentarzy) najdłuższego fragmentu przeklejonego kodu to dużo czy mało.

Różne osoby czytają ten blog, dla osób pracujących z R może będzie to zachęta by pomóc mi w rozwinięciu pakietu plagiat, pewnie jest masa bibliotek, które można by użyć a o których nie wiem. Dla prowadzących zajęcia w R, może pakiet plagiat będzie przydatnym narzędziem, dzięki któremu można szybko zobaczyć czy otrzymane pliki z rozwiązaniem nie są do siebie zbyt podobne. Aktualnie do wygenerowania takiego obrazka wystarczą następujące komendy

Dla studentów może będzie to zachęta do pracy w grupie ale w sposób przejrzysty, tak by prowadzący wiedział kogo za co ocenia a student korzystał z zalet wspólnego uczenia się.

Howgh.

 

Ankiety studenckie a Wstęp do programowania, podejście imperatywne

Nawiązując do wczorańszego wpisu, zobaczmy jak wygląda rozkład wyników ankiet z ćwiczeń i laboratoriów z kursu ,,Wstęp do programowania”. Wybrałem ten kurs ponieważ miał on najwięcej krup ćwiczeniowych, uniknę w ten sposób spekulacji który ćwiczeniowiec jest którą kropką.

Co też z takiego wykresu można odczytać?

  1. Generalnie żadna z grup nie została źle oceniona, prawie wszystkie średnie powyżej 5.
  2. Zaskoczeniem dla mnie jest to, że zajęcia są tak różnie oceniane, wydawałoby się że skoro to ten sam kurs to ocena zajęć powinna być bardziej podobna. Wygląda jednak na to, że ocena zajęć mimo wszystko bardzo zależy od oceny prowadzącego.
  3.  Będąc studentem chciałbym zobaczyć nazwiska przynajmniej tych trzech najwyżej ocenionych prowadzących (czyli jednak top 25%). Te osoby jak widać naprawdę wykonały dobra pracę skoro ten sam kurs prowadziły wyraźnie lepiej niż inne.
Czy waszym zdaniem taki wykres z nazwiskami pierwszej trójki byłby użyteczny? Czy są jakieś powody dla których takich wykresów lepiej nie pokazywać?

Ankiety studenckie a głaski dla pracowników dydaktycznych

W poprzednim wpisie dotyczącym wyników z ankiet studenckich zauważyliśmy, że w percepcji studenta (ocenianej przez korelację reszt) pytanie o ocenę przedmiotu jest czymś innym niż pozostałe pytania, dotyczące raczej sposobu prowadzenia zajęć.
Zamiast więc pokazywać wyniki ankiet we wszystkich ocenianych 11 wymiarach, skupię się na razie na dwóch, mianowicie ogólnej ocenie zajęć i ogólnej ocenie prowadzącego.

Jak juz pisałem, raporty opracowane przez studentów (patrz tutaj) są bardzo miłe dla oka, ale mam z nimi jeden szkopuł.
Mianowicie znaczna część tych raportów skupia się na pokazaniu par prowadzący-przedmiot, których oceniło przynajmniej 5 osób i który mieli ogólną ocenę w najwyższym kwartylu (takie top 25%).

Poniżej będę argumentował, że zarówno kryterium wyboru tych par do pokazania jak i sposób ich pokazania nie jest najlepszy.

Co jest złego w kryterium top 25% najlepszych z ocenionych przez przynajmniej 5 osób?

  1. Po co przyjmować próg 5 osób? Jeżeli para prowadzący/przedmiot  był oceniony przez mniej niż 5 osób to można argumentować, że taka ocena jest przypadkowa i nie jest reprezentatywna dla tego przedmiotu. Ten argument jednak ciężko obronić jeżeli mamy specjalistyczny kurs na który zapisało się tylko 4 osoby i wszystkie wypełniły ankiety.Można argumentować, że mała próbka spowoduje, że dobry prowadzący zostanie źle oceniony przypadkowo bo wypowie się tylko niewielka (niereprezentatywna) część studentów. Nie chcemy krzywdzić prowadzących przypadkowo złymi ocenami. Ale ten argument się też nie broni ponieważ pokazywanych jest tych 25% najlepszych. Nie znajduję uzasadnienia dla progu przynajmniej pięciu ankiet. Jestem może mało obiektywny, ponieważ prowadzę często przedmioty specjalistyczne (inna nazwa na niepopularne) na których liczba zapisanych osób waha się od 4 do 8 ;-).
  2. Po co przyjmować próg top 25%? Jak rozumiem celem ankiety jest możliwość wskazania (choć nie jest jasne jeszcze komu, ale o tym później) dobrych dydaktyków. Ale i w grupie samych wybitnych dydaktyków i w grupie samych beznadziejnych zawsze da się wskazać top 25%. Lepszy wydaje się być bezwzględny próg. Jeżeli uznać średnią ocenę 5,5 albo 6 jako wynik ponadprzeciętny (w skali 1-7) to sensowniejsze było by pokazywanie wszystkich ponadprzeciętnych dydaktyków.
  3. Dlaczego nie pokazywać wyników w rozbiciu na kursy. Wracamy do pytania, że nie jest jasne dla kogo przygotowane są te wyniki ankiet. Gdy byłem studentem, chciałem by ankiety były przeprowadzane po to by ułatwić studentom wybór ćwiczeniowca lub prowadzącego laboratorium. Jeżeli tak to dla każdego kursu chciałbym mieć wskazane kto jest najlepszym ćwiczeniowcem/laborantem i czy są pomiędzy ćwiczeniowcami duże różnice. Będąc prowadzącym uważam, że takie ankiety mogłyby mi pomóc ocenić, z drugiej strony barykad,y jakie są prowadzone przeze mnie zajęcia. Jak to jednak zrobić kiedy prowadząc ćwiczenia ze statystyki mogę moją średnia z ankiet mogę porównać ze średnią z wszystkich kursów. Wolałabym już porównanie ze średnią z wszystkich prowadzących statystykę.

Tak więc aktualny sposób prezentacji wyników wygląda trochę jak sposób w jaki firmy motywują sprzedawców, pokazując top 25% osób mających największe obroty w każdej kategorii sprzedawanych przedmiotów. I jest to raczej bonus łechczący ego osób, które znalazły się na tej liście, ale bonus z którego trudno wyciągnąć użyteczne informacje. (Oczywiście taki bonus jest bardzo ważny. Na niewiele więcej może liczyć starający się dydaktyk jak na wysokie miejsce w rankingach popularności ankietowanych studentów, ale to inna historia.)

 

Ok, ponarzekałem, czas na częśc konstruktywną.
Pierwszy pomysł to pokazanie każdej pary przedmiot-prowadzący na osi średnia ocena przedmiotu/średnia ocena prowadzącego. Dodatkowo zaznaczmy wielskością punktu jak duża jest grupa studentów daną parę oceniała. Po prawej stronie i u góry wykresu zaznaczyłem dodatkowo decyle (dziesiątki centyli) rozkładu tych ocen, aby łatwiej można było odczytać jaka część kurso/prowadzących miała wyniki lepsze niż k.

Ponieważ nie mam zgody na prezentowanie nazwisk prowadzących więc na poniższych wykresach jedyny punkt oznaczony czerwonym kolorem to wyniki ankiet z mojego kursu ,,Modele liniowe i mieszane”, który prowadziłem w semestrze zimowym 2010 (to jedyny kurs który prowadziłem w tamtym semestrze). Cytując za Maciejem Stuhrem ,,wstydu nie ma”, od siebie mogę dodać że szału też, ale czerwoną kropkę dorysowałem.

Nawet bez nazwisk prowadzących z takiego wykresu można odczytać kilka informacji. (Samorządzie, zdobądź zgode na pokazanie nazwisk dydaktyków o najlepszych ocenach)

  1. Prowadzący są zazwyczaj lepiej oceniani niż przedmioty które prowadzą (cóż, dla mnie to zaskoczenie, właściwie jak to czytać, czy studenci chcieliby innych przedmiotów?).
  2. Zdecydowana większość prowadzących/przedmiotów jest dobrze oceniana (na użytek tego postu uważam, że dobrze to średnia ocena 5 lub więcej).
  3. Będąc prowadzącym i widząc oceny moich kursów moge sobie z tego wykresu odczytać gdzie się znajduję w rozkładzie wszystkich ocenianych przedmioto-prowadzących. Wciąż wolałbym taki wykres w rozbiciu na kursy, ale przynajmniej mogę więcej porównać niż tylko średnie moją i globalną.

 

 

 

Wszelkie uwagi co pokazać dodatkowo/inaczej mile widziane.

 

 

 

Ankiety studenckie, stratyfikacja a macierze korelacji

Dzisiejszy wpis jest pierwszym z serii wpisem dotyczącym wizualizacji i analizy danych zbieranych w procesie nauczania w szkołach wyższych. Rok temu mój magistrant, Filip Grotkowski, w ramach pracy magisterskiej wykonał szkielet oprogramowania pozwalający na automatyczne generowanie raportów na podstawie danych z systemów: Uniwersytecki System Obsługi Studentów (USOS) i Internetowa Rejestracja Kandydatów (IRKA). Więcej o systemie USOS przeczytać można np. tutaj.

Kolejni magistranci kontynuują rozwój tego systemu. Celem jest opracowanie systemu raportów, który będzie prezentował ciekawe informacje dla studentów i nauczycieli akademickich. Aktualnie kilkanaście uczelni używa tego systemu i teoretycznie raz opracowany zestaw raportów będzie można uruchomić na każdej z tych uczleni. Tak więc ten i kolejne wpisy w tle mają pytanie, jakie informacje użyteczne dla studentów i nauczycieli akademickich można wyłowić z baz danych o procesie studiowania i mam nadzieję, że czytelnicy tego bloga swoimi uwagami pomogą w znalezieniu sposobów znajdowania odpowiedzi na najciekawsze pytania.

 

Dziś będzie o liczeniu korelacji pomiędzy wynikami z ankiet studenckich.

Na wydziale MIM Uniwersytetu Warszawskiego przeprowadzane są ankiety wśród studentów. O ile wiem ankiety są organizowane przez Samorząd Studencki.
Studenci odpowiadają na 11 pytań opisujących ich zadowolenie z każdego z wybranych przedmiotów. Między innymi oceniają przygotowanie prowadzącego, dostępność materiałów, dostępność prowadzącego, ogólną ocenę zajęć, ogólna oceną prowadzącego itp.

Wielki plus dla samorządu za zorganizowanie tego systemu i aktywne motywowanie studentów do wypełniania ankiet, dzięki czemu wypełnianych jest kilka tysięcy ankiet na semestr. Plus za pytanie o 11 aspektów dotyczących przeżytego kursu, ułatwia to zrozumienie co się podobało a co nie w danym kursie. Minus za brak pomysłu na przedstawienie wyników dla tych 11 aspektów.

 

Wyniki ankiet dla kierunku Matematyka dla semestru zimowego 2010 opracowane przez studentów wydziału MIM zostały umieszczone pod tym adresem. Raport jest miły dla oka, znajduje się tam wiele wykresów i liczb. Brawa dla autorów za jego wykonanie, ale jak zwykle nawet w najlepszym raporcie znajdzie się coś do czego  można mieć uwagę. A moja jest taka, że mam wrażenie, że z takich ankiet można wyciągnąć więcej informacji. I to jest temat kilku najbliższych wpisów.

Ten wpis poświęcę dyskusji nt. macierzy korelacji pomiędzy odpowiedziami na pytania z ankiet.
Jest ona przedstawiona w wymienionym wyżej raporcie w części ‘Korelacja pomiędzy wynikami z pytań’.
Pamiętajmy, że te wyniki są prezentowane dla studentów i pracowników wydziału informatyki i matematyki, więc można wybaczyć zalew liczb i prezentowanie korelacji z dokładnością do trzech cyfr po przecinku (co sam też będę czynił poniżej).

Problem z tą macierzą korelacji polega na tym, że nie wiadomo co ona pokazuje.

Dlaczego?
Przypomnijmy jak była ona konstruowana.
Studenci dla każdego odbytego kursu odpowiadali na 11 pytań w skali od 1 do 7. Puryści stwierdzą, że ta skala przypomina bardziej skalę Likerta niż dane ilościowe więc liczenie z odpowiedzi średniej a co dopiero korelacji nie ma sensu. Ale przymknijemy na razie na to oko.
Skupmy się na razie na tym jak policzyć korelację pomiędzy dwoma pytaniami, np. ogólną oceną z zajęć a ogólną oceną prowadzącego.
Problem z liczeniem korelacji zilustrujemy takim przykładem. Przypuśćmy, że poniższa tabela opisuje wyniki z czterech ankiet.

Korelacja próbkowa dla odpowiedzi na te pytania to 0,8. Ale jest ona pochodną tego, że jeden prowadzący został wysoko oceniony a drugi nisko. Mamy bowiem do czynienia z grupami odpowiedzi o potencjalnie różnych rozkładach (średnich) i obserwujemy mieszaninę takich grup. Spróbujmy oddzielić wpływ prowadzącego na ocenę i wpływ rozumienia pytania 1 i 2 przez oceniającego studenta.

Licząc średnie w kolumnach, możemy każdemu prowadzącemu przypisać średnią ocenę na zadane pytanie.

Jeżeli teraz policzymy korelację pomiędzy takimi średnimi otrzymamy korelację równą 1. Ta korelacja opisuje jak bardzo podobne są charakterystyki 1 i 2 prowadzących. Wysoka korelacja świadczy o tym, że prowadzący wysokich odpowiedziach na jedno pytanie mają też wysokie odpowiedzi na drugie pytanie.

Zobaczmy teraz jak wyglądają różnice pomiędzy wynikami z ankiet a średnimi wynikami prowadzących (będę je poniżej nazywał resztami)

To oczywiście skrajny przykład, ale ma na celu pokazanie, że licząc korelację na średnich lub na resztach można nadać interpretację takich korelacji. Liczenie korelacji z pominięciem informajcie o ,,efekcie prowadzącego” utrudnia lub uniemożliwia określenie co dokładnie ta korelacja mierzy. Liczba jakaś zawsze wyjdzie, ale co ona znaczy?
Tego typu problem polegający na obserwowaniu wartości z grupy niejednorodnych podpopulacji jest w analizie danych dosyć częsty, warto więc być na niego wyczulonym.

Ok, a jak to wygląda dla naszych danych, tj wyników ankiety dotyczacych semestru zimowego 2010?
Dostęp mam tylko do odpowiedzi na 8 z wymienionych 11 pytań, dlatego poniżej pokazuję macierz korelacji tylko dla tych 8 pytań.
Pierwsza macierz pokazuje korelację pomiędzy średnimi dla prowadzących, druga to korelacja pomiędzy resztami.
Jak widzimy te macierze dosyć się różnią.

Macierz korelacji dla średnich ocen prowadzących.

Macierz korelacji dla różnic pomiędzy ocenami prowadzących a wynikami ankiet.

Powyższe macierze różnią się. Najbardziej różnią się korelacje pomiędzy oceną opiniowanych zajęć a pozostałymi odpowiedziami. Patrząc na korelacje liczone na średnich dla prowadzących mamy wysoka korelację, która świadczy o tym, że jeżeli prowadzący jest wysoko oceniany to i zajęcia są wysoko oceniane (i symetrycznie, korelacja jest symetryczną miarą).
Porównując korelacje liczone na resztach, widzimy brak istotnych korelacji. Co znaczy, że studenci inaczej interepretują ocenę prowadzącego i ocenę przedmiotu. Uwzględniwszy ,,efekt prowadzącego” odpowiedzi na te pytania są nieskorelowane. Pozostałe pytania są skorelowane w podobnym stopniu, co można interpretować tak, że wszystkie pytania poza siódmym oceniają różne cechy prowadzącego, sposobu przekazywania wiedzy, uporządkowania, charyzmy itp. Pytanie 7 w percepcji studentów dotyczy wyłącznie oceny przedmiotu.

Dociekliwi zauważą, że podobnie jak braliśmy pod uwage ,,efekt prowadzącego” tak i powinniśmy brać pod uwage ,,efekt studenta”. Nie jesteśmy jednak w stanie tego zrobić, ponieważ ankiety są anonimowe i nie ma jak policzyć średniej odpowiedzi na wybranego studenta. Ponieważ jednak liczba ankiet na studenta jest mnijesza niż liczba ankiet na przedmiot więc można mieć nadzieję, że efekt studenta jest znacznie mniejszy.

Pointa?
Przedstawianie różnych charakterystyk danych z ankiet to świetny pomysł ale trzeba zastanowić się co prezentuje dana charakterystyka i czy przypadkiem nie jest ona obciążona jakimś innym efektem.
Licząc korelację na danych, które agregują wyniki z kilku grup należy wziąć pod uwage różnice pomiędzy grupami. Dzięki temu będzie można wskazać na jakim etapie korelacja/podobieństwo jest istotne.
Pytanie z którym należy się jeszcze zmierzyć to w jaki sposób pokazać macierz korelacji tak by dało się ją całą ogarnąć percepcją.

 

Po co używać wykresów kołowych, czyli raporty znanej fundacji a ,,lie factor”

Zacznę od tego, że FNP stara się czytelnie prezentować wyniki swoich konkursów. Z ostatniego konkursu START dla przejrzystości upubliczniono wnioski laureatów, a więc jest tutaj duża przejrzystość. NCN mógłby się dużo nauczyć (sposób ich publikacji wyników pierwszego konkursu pozostawia wiele pytań). Pisząc kolokwialnie, FNP robi świetną robotę (tzn. ludzie pracujący w tej fundacji).
Niemniej FNP też zdarzają się wpadki.

Na tej stronie przedstawiono raport z rekrutacji różnych programów prowadzonych przez Fundację.

Z jakiegoś powodu uznano, że trójwymiarowe wykresy kołowe nadadzą się do czegokolwiek. Tymczasem dwie pierwsze reguły wizualizacji danych to: nie uzywaj pseudo-trójwymiarowych wykresów jeżeli nie trzeba i nie uzywaj wykresów kołowych. Nie jest tylko jasne która z tych reguł jest pierwsza a która drugą. Pseudo-trzeci wymiar na wykresach oszukuje percepcję i nie pozwala na poprawną ocenę długości/szerokości itp. Wykresy kołowe sa niedobre ponieważ nie potrafimy dobrze porównywać kątów.

Zobaczmy przykładowy wykres prezentowany ww raporcie na stronie 2.

Co jest dziwnego w tym wykresie? Są dwa kawałki, które opisują po 5% i dwa opisujące po 11%, ale coś jest z nimi nie tak. Zmierzmy długości odpowiednich cięciw.

Długości tych cięciw w pixelach to odpowiednio 116, 211, 126, 46 pixeli.

Edward Tufte zdefiniował kiedyś współczynnik ,,lie-factor”, który liczony jest jako iloraz efektu widocznego na wykresie do efektu w danych.

Stosunek długości cięciw A:D to 116/46 = 2.6 podczas gdy z danych wynika, że powinny być to tej samej długości cięciwy.

Stosunek długości cięciw B:C to 211/126 = 1.7 podczas gdy z danych wynika, że powinny być to tej samej długości cięciwy.

Czy trzeba więcej argumentów przeciwko wykresom kołowym 3D?

W ogóle ilość danych przedstawionych w powyższym raporcie do jego objętości jest dosyć mizerna. Całą stronę 2 mozna by przedstawić za pomocą jednego wykresu na którym jest więcej informacji. Kod do wygenerowania tego wykresu znajduje się tutaj. A wykres poniżej (trochę lepiej wygląda dla innych progrmów gdzie było więcej lauretów)

Krytykując wykresy 3D spójrzmy jeszcze na poniższy z tego samego raportu. Pierwszy słupek ma wysokość 15% ale jest znacznie poniżej linii siatki oznaczającej 15%. Pewnie da się to jakoś wytłumaczyć, ale i tak dosyć dziwnie to wygląda.