Czy polscy nauczyciele się lenią? Czyli kilka wykresów na bazie raportu OECD ,,Education at a Glance 2012”

W poprzednim tygodniu w naszej lokalnej prasie rozgorzała ciekawa dyskusja na temat tego, czy polscy nauczyciele się lenią. Zaczęło się od artykułu ‚Pracowity jak nauczyciel’ Artura Grabka, w którym autor przekonywał, że polscy nauczyciele mają znacznie mniej godzin pracy niż koledzy po fachu z zachodu, wschodu, północy i południa (inaczej mówiąc napisał, że polscy nauczyciele pracują najmniej). Na ten artykuł odpowiedział Piotr Pacewicz w artykule ‚Nauczyciele się nie lenią!’ uspokajając czytelników, że ta informacja nie jest prawdziwa (dziwne rzeczy niektórych uspokajają). W prasie pojawił się też komentarz Sławomira Broniarza, który stwierdził ‚Udowodnimy, że nauczyciel się nie leni’. Pan Artur Grabek zdążył już skomentować te komentarze w artykule ‚Ile pracuje nauczyciel’ oraz napisać o pensjach nauczycieli w artykule ‚Nauczyciele na dorobku?’. Dyskusja przeniosła się do blogosfery i w różnych miejscach pojawiają się krytyczne komentarze (raz krytykujące nauczycieli, raz krytykujące tych co krytykują nauczycieli). W dyskusji podnoszone są różne wątki, a to że dane nie dobre, a to że pensje niskie itp.

Czy prawda jest po środku czy też daleko od opinii każdego z tych panów?

Czytaj dalej Czy polscy nauczyciele się lenią? Czyli kilka wykresów na bazie raportu OECD ,,Education at a Glance 2012”

Książka, komputer czy telewizor, czyli umiejętności językowe i matematyczne w gimnazjum a płeć i inne zmienne

Dzisiaj będziemy kontynuować temat czynników korelujących z wynikami w gimnazjum. Ostatnio pisaliśmy na ten temat we wpisie o zależnościach pomiędzy wynikami z matematyki a zamożnością i wykształceniem rodziców. Poniżej porównamy jednocześnie wyniki z testów językowych jak i matematycznych. Sprawdzimy czy z lepszymi wynikami w gimnazjum koreluje liczba komputerów w domu, liczba książek czy liczba telewizorów. I zakończymy komentarzem dotyczącym zależności przyczynowo-skutkowej.

Czytaj dalej Książka, komputer czy telewizor, czyli umiejętności językowe i matematyczne w gimnazjum a płeć i inne zmienne

Sfabrykowane dane a powtarzalne badania

Dwa tygodnie temu w tym wpisie, pisałem o narzędziach wspierających przeprowadzanie powtarzalnych badań. Tzn narzędziach, dzięki którym można prześledzić każdy krok wykonanych analiz. Taką całą ścieżkę może łatwo powtórzyć niezależny weryfikator. W przypadku badań, które prowadzą do prób klinicznych na żywych ludzkich pacjentach naturalne jest oczekiwać by wyniki badań były dokładnie zweryfikowane przez niezależnego badacza. Wspomniałem też o przykładzie sfabrykowanego badania wykrytego przez ,,statystyków śledczych” .

Ostatnio widziałem 15minutowe streszczenie opisujące o co chodziło w tym sfabrykowanym badaniu. Materiał telewizyjny jest trochę podkolorowany, ale w 15 minut pozwala na zrozumienie co się stało. Materiał do obejrzenia na tej stronie.

I na koniec mały komentarz, coś co mi zapadło w pamięć gdy przysłuchiwałem się dyskusji n.t. tego badania. Pytanie było, czy jest coś złego w eksperymentowaniu na pacjentach z terminalnym stanem nowotworu, dla których nie ma i tak innego lekarstwa. Czy to nie jest tak, że warto chwycić się nawet znikomej szansy na wyleczenie, nawet jeżeli badania nad lekiem były niezbyt solidnie przeprowadzone. Odpowiedź była taka, że nie, zdecydowanie nie warto chwytać się losowych badań. Pomijając przypadek tego konkretnego leku, który skutecznie szkodził zamiast skutecznie leczyć, to w przypadku terapii wymagających wykonania biopsji nowotworu płuc jest spore ryzyko uszkodzenia płuc przez co pacjent będzie w gorszym stanie i też nie będzie się kwalifikował do innych sposobów leczenia.

I jeszcze komentarz autora pakietu knitr. Czy to nie dziwne, że (jako badacze) oczekujemy od analityków, że będą prowadzili powtarzalne i dobrze udokumentowane badania, skoro nie wymagamy tego samego od studentów statystyki?

Na stronie http://rpubs.com/ znajduje się serwis pozwalający na proste opublikowanie raportu w knitr.

Statystyka śledcza, powtarzalne badania, Sweave, knitr czyli useR 2012

Gdyby zadać pytanie ,,Czy wyniki analiz statystycznych prezentowane w raportach lub artykułach naukowych powinny być powtarzalne?” większość osób odpowiedziałaby tak. Powinno być jasne jakie są dane źródłowe i jak były przetwarzane zanim uzyskano podany wynik.

Na pytanie ,,Czy wyniki analiz statystycznych prezentowane w raportach lub pracach naukowych można odtworzyć?” odpowiadać powinny tylko osoby przygotowujące raporty lub próbujące odtworzyć wyniki innych. I tutaj z odpowiedziami może być różnie. W skutek wstępnych transformacji, usuwania przypadków ,,odstających”, różnych wariantów normalizacji, zawodnej pamięci bywa tak, że po roku autor nie jest w stanie odtworzyć własnych analiz, a co dopiero inna osoba. Efekt ten jest szczególnie silny gdy używa się narzędzie typu ,,wyklikaj analizę i zapomnij”.

Problem zawodnej pamięci jest mniej poważny niż problemy w analizie. Każdy jest omylny, dostęp do dokładnego opisu jak analizy zostały przeprowadzone pozwala na szybkie znalezienie i naprawienie ewentualnych błędów.

Statystyka śledcza

Statystyka śledcza to robocza nazwa dziedziny w której celem jest zbadanie czy analizę danych można odtworzyć oraz czy analiza została przeprowadzona poprawnie. Dziś na useR Kevin Coombes pokazywał przykłady błędów statystycznych znalezionych w poważnych czasopismach medycznych (takich poważnych błędów jak np pomylenie indeksu identyfikatora nazwy genu o +1 czy pomylenie etykietek zdrowy/chory!). Jak się okazuje wyśledzenie niektórych błędów w artykule kosztuje ponad 1500 godzin pracy statystyka! 1500 godzin to prawie rok pracy na pełnym etacie! A byłoby łatwiej gdyby nie trzeba było przeprowadzać odwrotnej inżynierii pracy statystyka, ale gdyby ta praca była udokumentowana. Bardzo ciekawy przypadek jednego ze znalezionych przez Kevina błędu znaleźć można w pracy http://bioinformatics.mdanderson.org/Supplements/ReproRsch-Chemo/SR0.pdf, materiały dodatkowe pozwalające na całkowite odtworzenie tego znaleziska znajdują się tutaj http://bioinformatics.mdanderson.org/Supplements/ReproRsch-Chemo/.

Powtarzalne badania

Na szczęście są narzędzia pozwalające na zapisanie całej analizy w postaci powtarzalnego skryptu (np. R) oraz zintegrowanie takiego skryptu z narzędziem pozwalającym na wygenerowanie prezentacji, raportu z komentarzami, publikacji, książki, podręcznika w formacie pdf, html, doc i innych. Taka integracja pozwala na dokładne sprawdzenie jaki zestaw analiz był użyty by wygenerować określony wykres / wynik / tabelę.

Do takiej integracji służą między innymi pakiety Sweave i knitr dla programu R.

Statystyk Frank Harell jest jednym z misjonarzy powtarzalnych badań, poprowadził na useR interesujące warsztaty dotyczące obu pakietów.  Obszerne materiały prezentowane podczas warsztatów i wiele ciekawych odnośników do samouczków znaleźć można na tej stronie: http://biostat.mc.vanderbilt.edu/wiki/Main/SweaveLatex.

 

Złudzenia optyczne a raport MAC „Społeczeństwo informacyjne w liczbach”

 

Z pewnością znacie obrazki przedstawiające złudzenia optyczne w stylu ,,który z odcinków jest dłuższy”. Wydaje się, że jeden jest dłuższy a w rzeczywistości są równe. Większość z takich złudzeń jest wywołanych przez dodatkowy (najczęściej też zbędny) element ilustracji, sugerujący mózgowi perspektywę, zły punkt odniesienia lub coś innego (np strzałki) co zniekształca naszą percepcje obrazu.

Nie spodziewałem się, że znajdę przykłady takich złudzeń w raporcie Ministerstwa Administracji i Cyfryzacji „Społeczeństwo informacyjne w liczbach”. Raport ma postać cegły najeżonej statystykami i wykresami (niestety jak większość raportów). Przy czym wykresy w tym raporcie są bliższe sztuce niż grafice mającej przekazywać precyzyjnie informacje.

W przypadku tego raportu złudzenia optyczne są wywołane próbami ,,uatrakcyjnienia” graficznie wykresów. Złudzenia przedstawię za pomocą trzech zagadek, z których jedna jest podchwytliwa. Która? Odpowiedzi poniżej. Poniżej trzy wykresy z raportu i trzy pytania do prezentowanych wykresów.

 

Zagadka 1:

Czy odległość pomiędzy czerwonym kwadratem a pomarańczowym trójkątem w styczniu 2011 jest większa, mniejsza czy równa odległości pomiędzy pomarańczowym trójkątem a niebieskim kwadratem w styczniu 2010?

Zagadka 2:

Czy na poniższym rysunku oznaczony kółeczkiem kwadrat jest wyżej, niżej czy na tej samej wysokości co zaznaczony kółeczkiem trójkąt?

Zagadka 3:

Czy na poniższym rysunku oznaczony kółeczkiem kwadrat jest wyżej, niżej czy na tej samej wysokości co zaznaczony kółeczkiem trójkąt?

Rozwiązanie

Problemem w każdym z tych artystycznych wykresów jest brak linii poziomych i pionowych. Nie ma pionowych linii oznaczających osie ani poziomych linii pomocniczych! Dlatego trudno jest porównywać punkty w pionie, trudno jest porównywać tempo wzrostu. Mózg nie ma punktu odniesienia. Jak widać autor stwierdził, że wartości bezwzględne nie są ważne a jak bardzo chce to się wysili i będzie porównywał liczby. Tempa wzrostu też nie sposób porównać bo wykresy są zbyt rozciągnięte lub zbyt ściśnięte.

Dlatego też większość osób pomyli się w przypadku każdej z powyższych zagadek (oczywiście nie wszyscy, nawet losowo strzelając 12.5% trafi dobrze). Poniżej przedstawiam ,,rozwiązania” czyli oryginalne wykresy z raportu z dodanymi liczbami. Z uwagi na położenie liczb na wykresie złudzenie optyczne jest jeszcze silniejsze.

Zagadka 1. Odległość pomiędzy czerwonym kwadratem a pomarańczowym trójkątem w styczniu 2011 jest większa (9 punktów vs 8 punktów dla roku 2010).

Zagadka 2. Niebieski trójkąt w roku 2009 jest wyżej niż czerwony kwadrat w roku 2000.

Zagadka 3. Niebieski trójkąt w roku 2009 jest wyżej niż kwadrat w roku 2002.

A tutaj link do oryginalnego raportu.

 

Gdzie lepiej być matką, w Polsce czy na Białorusi? Czyli kilka słów o kulcie rankingów.

Kilka dni temu na portalu TokFM pojawił się artykuł ,,”Żenujący” wynik Polski w corocznym raporcie dot. matek. Lepiej nią być na Białorusi, Węgrzech…”. Słuchy o nim dobiegły mnie z dwóch stron. Z jednej strony rozmawiając ze znajomymi zauważyłem, że wiele osób ów artykuł przeczytało i po lekturze zostało w nich przekonanie, że nawet jeżeli w Polsce urlop macierzyński jest dłuższy, to na Białorusi mamom jest ogólnie lepiej. Z drugiej strony Pan Michał Kowalczyk (Uniwersytet Łódzki i Université de Lorraine) napisał do mnie bardzo ciekawy list, w którym niezwykle szczegółowo przedstawił serię problemów i nierzetelności związanych z wspominanym artykułem. List ten był bardzo wartościowy, wnioski z niego po jedynie drobnych zmianach przedstawię poniżej.

Poruszę problem opierania się na rankingach bez wnikania w to, jakie elementy składowe za nimi stoją. Ten problem często owocuje dziennikarstwem pozbawionym treści (w tym przypadku treść to: problem z dostępnością żłobków, kobietom ciężej znaleźć pracę, jeżeli opiekują się dziećmi), a bogatym w emocje (jesteśmy na 28. miejscu, powinno nam być wstyd, lepiej jest na Białorusi). Drugi problem to kult rankingów, związany z zabobonną wiarą, że szereg parametrów opisujących różne obiekty można zamienić w jedna liczbę i wszystkie porównywane opcje ustawić w rządku od najlepszej do najgorszej. Pułapka rankingów polega też na tym, że bardzo często zamiast sprawdzić, na czym ranking jest oparty kierujemy, się własnym przekonaniem, na czym powinien się opierać. Przykładowo, ranking we wspominanym artykule jest oparty między innymi o procent miejsc w rządzie obsadzonych przez kobiety, ale czytelnik życzeniowo może uważać, że w rankingu wzięto pod uwagę łatwość znalezienia pracy przez kobiety z dziećmi.

Chciałbym też zaznaczyć, że o ile zdanie na temat artykułu mam nie najlepsze i będę bezlitośnie wytykał słabości w argumentacji, to moje osobiste zdanie jest ,,po linii’’ opinii prezentowanych w artykule. Uważam, że bycie matką w Polsce nie jest proste, i że rodziny trzeba bardziej wspierać (wspierać rodziny, a nie jedynie matki – np. dzisiejsza polityka wspierania samotnych rodziców w rekrutacji do przedszkoli prowadzi do patologii, np. w Warszawie wystarczy wziąć rozwód lub żyć w konkubinacie by mieć dodatkowe punkty). Nie uważam jednak, by cel uświęcał środki. Dyskusji o słabych i mocnych stronach pozycji matek nie można opierać o ranking, który ma niewielką wartość merytoryczną. Porównywanie bezsensownych współczynników i robienie afery dla samej afery jedynie psuje atmosferę i utrudnia merytoryczną debatę. Żeby coś poprawić, trzeba zidentyfikować problemy i ich źródła. To nie 28. miejsce w rankingu jest problemem, ani to, że w Polsce jest (?) gorzej niż na Białorusi.

Na czym polega przewaga Białorusi?

Więc wracając do rzeczy. Poniżej kilka cytatów z artykułu oraz komentarzy do nich. Zacznijmy od pierwszego zdania cytowanego artykułu.

,,Lepiej być matką na Białorusi niż w Polsce – między innymi takie wnioski wynikają z tegorocznego raportu fundacji Save The Children”

Czy w rzeczywistości tak jest? To stwierdzenie oparte jest na obserwacji, że w rankingu ,,mother’s index’’ dla krajów rozwiniętych według cytowanego raportu Polska jest na pozycji 28 a Białoruś na pozycji 24. Chciałoby się zapytać ,,I co z tego’’? Zobaczmy, jakie elementy składowe były uwzględniane w konstrukcji indeksu. Poniżej zamieszczam wyciąg dla trzech państw. Te wartości zostały przepisane z tabeli z 55 strony raportu fundacji Save The Children. Pełna wersja raportu znajduje się tutaj, są w nim też dane dla innych państw. Porównajmy kolejne charakterystyki i zastanówmy się, gdzie jest lepiej być matką.

Belarus Poland USA
Lifetime risk of maternal death (1 in number stated) 5100 13300 2100
Percent of women using modern contraception 56 28 73
Female life expectancy at birth (years) 76 81 81
Expected number of years of formal female schooling 15 16 18
Maternity leave benefits (days) 126 140 84
Wages paid percent 100 100 0
Ratio of estimated female to male earned income 0,63 0,59 0,62
Participation of women in national government (% seats held by women) 32 22 17
Under-5 mortality rate (per 1,000 live births) 6 6 8
Gross pre-primary enrollment ratio (% of total) 99 66 69
Gross secondary enrollment ratio (% of total) 96 97 96
Mothers’ Index Rank (out of 43 countries) 24 28 25

Komentarze do tabeli:

  • Ryzyko śmierci podczas porodu, w Polsce jest ponad dwukrotnie mniejsze niż na Białorusi,
  • Procent kobiet stosujących nowoczesną antykoncepcję w Polsce jest dwukrotnie niższy niż na Białorusi (choć inne badania, np. to pokazuje że w Polsce ten procent jest równy 58 a nie 28).
  • Oczekiwana długość życia kobiety w chwili narodzin, w Polsce o 5 lat większa niż na Białorusi,
  • Średnia liczba lat edukacji dla kobiet wynosi w Polsce o rok więcej niż na Białorusi,
  • Urlop macierzyński w Polsce jest o dwa tygodnie dłuższy niż na Białorusi, i tu, i tam jest w 100% płatny,
  • Nierówność w pensjach pomiędzy kobietami i mężczyznami. W Polsce kobiety zarabiają średnio 59% zarobków mężczyzn, w Białorusi 63%. Procentowo więc na Białorusi jest lepiej, ale jeżeli porównać bezwzględną wartość zarobków, to lepiej jest w Polsce. Z drugiej strony dosyć naturalne (patrz dyskusja w komentarzach anuszki) jest, że im bardziej kobiety są chronione przez prawo, tym większa dysproporcja zarobków pomiędzy kobietami i mężczyznami. Nie można zjeść jabłka i mieć jabłko.
  • Obecność kobiet w rządzie jest wyższa na Białorusi (32% vs 22% w Polsce). Choć brzmi to jak marny dowcip biorąc pod uwagę autokratyczny reżim Łukaszenki,
  • Śmiertelność dzieci do 5 roku życia jest porównywalna w obu krajach,
  • Rekrutacja dzieci na etapie przedszkolnym, w Polsce ponad 30 punktów procentowych mniej niż na Białorusi.

Podsumowując: Zalety macierzyństwa na Białorusi to wyższy procent dzieci w żłobkach i przedszkolach.

Zalety macierzyństwa w Polsce to znacznie mniejsze ryzyko śmierci przy porodzie, dłuższa oczekiwana długość życia, więcej lat edukacji, dłuższy urlop macierzyński.

Czy naprawdę lepiej być matką w Białorusi?

Jedną rzeczą jest wybór wskaźników na podstawie których chcemy scharakteryzować macierzyństwo, inną sprawą jest dobór wag z jakimi te wskaźniki wpływają na pozycję w rankingu. Używając innych wag otrzymalibyśmy inny ranking.

Jest wiele punktów w tym raporcie, za które powinno nam być bardzo wstyd – podkreśla Chutnik. – Te szczegóły są bardzo wyraźnie widoczne w zestawieniach, gdzie widać czarno na białym liczby. Nie wyobrażam sobie też sytuacji, żeby taki raport miał być opracowany w Polsce, np. uwzględniając województwa. To by było przerażające. Zresztą – o ile pojawiają się u nas sporadycznie opracowania dotyczące dzieci, to tych dotyczących zdrowia i sytuacji matek brakuje.

Poziom rekrutacji do przedszkoli i żłobków to jeden bardzo ważny i bardzo duży, ale ciągle jeden punkt. W raporcie inne nie są poruszane. Gdyby przedstawić powyższe wskaźniki w podziale na województwa z pewnością byłoby kilka województw, które miałyby wartości gorsze niż średnie i kilka takich, które miałyby wartości wyższe niż średnie. Przerażające mogłyby być tylko nagłówki w gazetach ,,Województwo XXX jest najmniej przyjazne kobietom’’.

„- Według tabel wypadamy dobrze pod względem chociażby tego, jak matka w Polsce jest zabezpieczona – 20 tygodni urlopu macierzyńskiego, w 100 proc. płatnego – zauważa Chutnik. – Ale to teoria. W praktyce – wiemy, jak jest.

Po co nam liczby skoro, gdy nam nie pasują, to twierdzimy, że ,,wiemy jak jest’’? W raporcie jest zaznaczone, że w Polsce dodatkowo można mieć dwa lata bezpłatnego urlopu, w czasie którego kobieta nie może być zwolniona. W porównaniu z np. USA to wielki luksus.

Podsumowując. W świecie, w którym głos ma ten, kto głośniej krzyczy, sprawdzajmy czy za tym krzykiem stoją argumenty. Po drugie, zamiast czytać i komentować rankingi, zastanówmy się, jakie są największe niezrealizowane potrzeby rodzin. To, że w jakimś rankingu będziemy o 10 pozycji wyżej wcale nie musi oznaczać, że rodziny/matki będą bardziej zadowolone. Warto walczyć o to, co jest ważne: przedszkola, żłobki, powrót do pracy dla matek, które tego chcą, ułatwienia w zatrudnianiu na fragmenty etatów, a nie o pozycję w rankingu.

I co dalej?

Dzisiejszy wpis jest ostatnim w kwietniu. Przed nami dłuższa przerwa spowodowana moim wyjazdem. Umieszczę więc poniżej kilka zdań podsumowania z dotychczasowej działalności i zwrócę się do Was wszystkich z apelem o pomoc. Niecierpliwym sugeruję czytanie od ostatniego akapitu.

Najpierw kilka słów wprowadzenia, później garść statystyk i wprowadzenie do apelu o pomoc.

Pierwszy wpis na tym blogu pochodzi z 15 września, mamy więc na karku 7 miesięcy blogowania. Ponieważ siódma miesięcznica zbiega się w czasie z wyjazdem w ramach którego nie będę miał ani czasu na opracowanie kolejnych ani dostępu do internetu, czas na małe podsumowanie.
Ten wpis jest 110. z kolei. Wpisy były bardzo różne.To zróżnicowanie było mi potrzebne aby sprawdzić jak mi się pisze na różne tematy. Jakieś zainteresowanie analizą i wizualizacją danych jest, świadczy o tym wiele komentarzy i jeszcze więcej osób subskrybujących kanał RSS i sporo osób trafiających i na stronę www a nawet umieszczających tu i ówdzie linki do niej (za co dziękuję). Pierwotnym celem było opracowanie platformy dla ,,crowd data mining” danych dotyczących Polski. Obecnie interakcja z zainteresowanymi osobami przebiega na poziomie komentarzy do wpisów lub emaili.
Wpisy pojawiały się na początku nieregularnie. Ostatnimi czasy pojawiają się regularnie trzy razy w tygodniu w poniedziałki, środy i piątki, ale na dłuższą metę nie jest możliwe przygotowywanie tak często wpisów mając też inne obowiązki.

Plan na najbliższą przyszłość to znalezienie formy w której będzie mi się dobrze pisało, w prace fundacji uda się zaangażować więcej osób, będzie możliwa dyskusja nt. interesujących danych i wyników ich analiz przy zachowaniu <szumnie> społecznej użyteczności </szumnie>.

I tutaj pojawia się apel do Was (i wiernych i przypadkowych czytelników). Jako zwolennik nieustannego sondowania gruntu, chciałbym, zanim fundacja wybierze jakiś kierunek wpierw rozszerzyć i przedyskutować bazę pomysłów nt. planu działania. Na stole są bardzo różne pomysły np. materiały dot. wizualizacji danych, kolumna w tygodniku pokazująca fragmenty rzeczywistości widoczne w danych, współpraca z resortem edukacji/nauki w celu opracowania i przedstawiania serii wyników dotyczących stanu polskiej edukacji/nauki, portal śledzący rzetelność informacji prezentowanych przez media i wiele innych pomysłów. Chciałbym tę listę znacząco poszerzyć zanim coś z niej wybierzemy. Chętnie też usłyszę komentarze nt. czytelności/ciekawości dotychczasowych wpisów.

Jak?

Mój plan jest następujący: jeżeli czytałeś/czytałaś wpisy z tego bloga i masz na ich temat lub zbliżony temat ciekawe wrażenia/opinie podziel się nimi ze mną. Wyślij mi te krótki, dwu- trzy- zdaniowy opis pomysłów/komentarzy mailem i porozmawiajmy o nich podczas lunchu (fundacja stawia). Zapraszam np. do pizzerii ,,A modo mio” przy ulicy Grójeckiej w Warszawie na spokojną rozmowę przy dobrym jedzeniu. Planuję zebrać pomysły od przynajmniej 10 osób. Każdy z Was (bez względu na wiek, wykształcenie, kolor skóry czy religię) jeżeli tylko chce może się przyczynić do prac fundacji przez podzielenie się pomysłem na jej rozwój.
Jak już zbiorę te pomysły podzielę się nimi na blogu i będziemy kontynuować.
Na lunch proszę się umawiać emailowo: przemyslaw.biecek na serwerze gmail.com, od kilku dni już nie mam dostępu do internetu ale z pewnością odpowiem po powrocie. Jeżeli macie pomysły/sugestie/opinie ale nie ma Was w Warszawie to podeślijcie je emailem. Najbardziej liczę na bezpośrednie rozmowy, innowacyjne pomysły, interesujące komentarze.

Edytor zbliżeniowy i opowiadanie historii, czyli ceny aut używanych w segmencie C część 3

Ostatnio, w tym wpisie, przedstawiałem wizualizacje cen aut używanych z segmentu C. Obiecałem też przedstawienie tych wizualizacji w postaci prezentacji. Złożyłem ta obietnicę celowo, by mieć pretekst do przetestowania programu ze strony prezi.com, reklamowanego jako ,,zooming presentation editor”. Dotąd przygotowywałem prezentacje w Beamerze i byłem z nich zadowolony, ale warto testować nowe rozwiązania.

Prezentacje wykonane w programie prezi wyglądają jak seria zbliżeń jednego dużego rysunku, przez co ma się wrażenie ciągłości historii i łatwiej zbudować w głowie mapę prezentacji. Edytor prezi jest dosyć ograniczony (we flashu można zrobić więcej), ale łatwo i intuicyjnie się go używa, wyniki są też dosyć przyjemne dla oka. Oczywiście aby wrażenie ciągłości i spójności pojawiło się w głowie odbiorcy, trzeba poświęcić trochę czasu na projektowanie prezentacji, więcej niż w przypadku zwykłych slajdów.

Prezentację z dodanym głosem umieszczam poniżej (nagrana z ekranu za pomocą programu Camtasia, wersja 30 dniowa). Zależało mi bardziej na zaprezentowaniu efektu zbliżeń niż na budowaniu emocjonującej historii, więc proszę wybaczyć usterki w audio i brak porywającej narracji. W każdym razie moje wrażenia po wykonaniu pierwszej prezentacji z użyciem ,,edytora zbliżeniowego” są bardziej niż pozytywne.

Może by w ten sposób przygotować materiały wideo do kursu ze statystyki?

(Jeżeli poniżej nie otwiera się materiał wideo, to proszę kliknąć na ten link)
 

Czy Jaś do Zuzi ma się tak jak John do Susan? Czyli o różnicach i brakach różnic.

 

W poniedziałkowym wpisie pisałem o tym jaki procent kobiet można spotkać w finałach OM, na wydziale MIMUW, w sejmie lub w gronie ekspertów NCN. Temat, który pojawił się w komentarzach do tego wpisu to linki do raportów o średnio równych lub lepsze wynikach kobiet w testach gimnazjalnych i średnio niższych zarobkach w branży IT (i pewnie wielu innych).

Dzisiaj napiszę kilka zdań nt. różnic pomiędzy wynikami chłopców i dziewcząt w różnych testach. Nazwa ‚efekt płci’ jest być może myląca, ponieważ nie jest oczywiste czy różnice które się pojawią są konsekwencją samej płci i związanej z nią biologii, czy też różnicom w traktowaniu, wychowaniu, motywowaniu do nauki itp.

Plan jest następujący: Pokażę wyniki z testów gimnazjalnych, ponarzekam na złą prezentacje graficzną tych wyników i nadużywanie nieszczęsnej, niczego nie mówiącej średniej. Porównam te wyniki z wynikami testu SAT, który zdaje w Ameryce wielu 17-18 latków, przetłumaczę kilka interesujących komentarzy różnych badaczy studiujących temat różnic w osiągach w edukacji. Okazuje się bowiem, że jest to bardzo gorący temat i z olbrzymiej liczby dostępnych publikacji można wyłowić czasem bardzo rozbieżne wyniki.

Testy podsumowujące gimnazjum

Zaczniemy od wyników z raportu Centralnej Komisji Egzaminacyjnej z roku 2011 podsumowującego wyniki gimnazjalistów kończących edukację w gimnazjum, a więc osób średnio w wieku 16 lat. Raport jest bardzo rozbudowany, ale na nasze potrzeby przyjrzymy się wynikom z części humanistycznej i z części matematyczno-przyrodniczej przytaczając wyniki w rozbiciu na płeć.

 

[Rysunek 1. Procent uczniów, którzy uzyskali określoną liczbę punktów z części humanistycznej w podziale na płcie. Ewidentnie dziewczęta maja średnio wyższą liczbę punktów niż chłopcy]

[Rysunek 2. Procent uczniów, którzy uzyskali określoną liczbę punktów z części matematyczno-przyrodniczej w podziale na płcie. Na pierwszy rzut oka nie widać różnic. Średni wynik dziewcząt jest wyższy niż średni wynik chłopców.]

Dodatkowo w raporcie przedstawione są średnie wyniki testu dla dziewcząt i chłopców. Średnie wyniki dla dziewczynek są wyższe w obu częsciach, dla testu humanistycznego znacząco, dla testu matematyczno-przyrodniczego nieznacznie.

Jest kilka interesujących kwestii związanych z wynikami testów gimnazjalnych, przedstawię je w punktach.

  • Rozkład ocen. W przypadku wyników z części humanistycznej rozkład dla każdej z płci przypomina krzywą Gaussa, co sugeruje jednorodną populację w której końcowy wynik to składowa wielu niezależnych czynników, które się ma lub nie ale w sumie wychodzi taki symetryczny dzwon. W części matematycznej jest inaczej. Brak Gaussowskości, brak symetrii może wynikać z tego że populacja jest niejednorodna (grupy osób w rożnym stopniu pracujących nad matematyką) albo z tego, że czynniki które się sumuje nie są niezależne. Która z tych przyczyn ma miejsce można sprawdzić jedynie mając odpowiedzi cząstkowe, więc na razie tego tematu nie będę rozwijał.
  • Sposób porównywania rozkładów. Do porównywania rozkładów wyników autorzy raportu zdecydowali się na porównywanie gęstości. Może one i ładnie wyglądają na rysunku, ale ich użyteczność jest praktycznie zerowa. W przypadku wyników z części humanistycznej przewaga dziewcząt jest tak wyraźna, że jak by jej nie przedstawić byłoby ją widać. Ale w części matematyczno-przyrodniczej sposób prezentacji uniemożliwia porównanie tego co ciekawe. I tutaj pojawia się pytanie co może być ciekawe.
    •  Jedną z ciekawych rzeczy to która płeć na częściej najgorsze wyniki. Np. spójrzmy na 5% gimnazjalistów o najgorszych wynikach – te osoby powinny nie są gotowe by żyć w świecie liczb, może koedukacja nie jest dobra, może należy te osoby inaczej uczyć – i zobaczmy która płeć tam dominuje. Dokładnie nie da się tych proporcji odczytać, ale wygląda na to, że wśród najgorszych gimnazjalistów z egzaminu matematyczno-przyrodniczego jest więcej chłopców.
    • Drugą ciekawą informacją to która płeć ma najlepsze wyniki. Spójrzmy na 5% gimnazjalistów o najlepszych wynikach – te osoby mają szansę zostać głównymi architektami, projektantami, budowniczymi itp, zobaczmy która płeć tu dominuje. Z wykresu nie da się odczytać dokładnie  tych proporcji odczytać, ale wygląda na to, że wśród najlepszych gimnazjalistów z egzaminu matematyczno-przyrodniczego jest więcej chłopców.
  • W obu powyższych przypadkach te różnice nie są duże, ale pokazują, że patrzenie na średnie albo porównywanie gęstości to nie jest najlepsze rozwiązanie. Lepiej byłoby pokazywać kwantyle lub dystrybuanty. Może dystrybuanta nie wygląda równie ładnie graficznie, ale interesujących informacji niesie więcej.

Testy SAT MATH

Zobaczmy jak wyglądają wyniki z egzaminów w Ameryce. Ameryka to dobry przykład ponieważ po pierwsze tam wszystko jest mierzone a po drugie jest tam sporo osób, które potrafią mierzyć i potrafią z pomiarów wyciągać wnioski.
Najczęściej przedstawianymi w literaturze wynikami są wyniki z egzaminów SAT (zgodnie z wikipedią ta nazwa była kiedyś skrótem ale już nie jest, jest pustym akronimem, dlatego jej nie rozwijam). Ten test robi się najczęściej w wieku 17-18 lat, nie jest obowiązkowy w skali kraju ale jest wymagany podczas przyjęcia na wiele uczelni. Dla mnie wyniki z tego testu są o tyle interesujące, że różnią się znacząco od wyników z testów gimnazjalnych w Polsce. Zobaczmy wyniki części matematycznej testu SAT
[Rysunek 3. Średnie wyniki testu SAT MATH w kolejnych latach dla kobiet i mężczyzn. Na podstawie An Empirical Analysis of the Gender Gap in Mathematics. Wybór skali jest tendencyjny, możliwe do uzyskania wartości to od 0 do 600.]
Na wynikach testu SAT MATH widać znacznie wyższe wyniki mężczyzn niż kobiet. Czym różnią się porównywane populacje polskich gimnazjalistów i amerykańska?
  • wiekiem. Gimnazjaliści robią test dwa lata wcześniej. Dwa lata to nie jest dużo dla dorosłych, ale akurat tutaj trafimy w okres dojrzewania, który u dziewczynek jest w 9-16 roku życia a u chłopców w 10-18 roku życia. Dojrzewanie może mieć to znaczący wpływ na wyniki, bez dodatkowych informacji nie jesteśmy jednak go w stanie uwzględnić.
  • powszechnością wykonywania testu. Test gimnazjalny zdają wszyscy gimnazjaliści, więc praktycznie cała młodzież. Test SAT wykonują osoby planujące dalszą edukację, co w stanach oznacza, osoby bardzo dobre albo mające pieniądze na dalszą edukację.
  • jednorodnością populacji. Populacja w Polsce jest bardziej jednorodna genetycznie niż w populacja w Ameryce.
  • kultura, klimat itp.
Ciekawą dyskusję przeprowadzono tutaj na temat efektu powszechności testu. Tzn. część badaczy uważała, że wyniki pomiędzy kobietami a mężczyznami w teście SAT można wyjaśnić tym, że mniej kobiet ten test zdaje. Tymczasem jest odwrotnie. Tz kiedyś proporcje kobiet do mężczyzn zdających test SAT były bardziej równe niż teraz ale też średnie różnice w wynikach były kiedyś bardziej różne niż są teraz.
Narzekałem sporo na średnie, później chwaliłem ludzi zza oceany, że potrafią oni liczyć a tym czasem prezentuję średnie dla wyniku SAT MATH. Ok, czas na poprawę.
W artykule The Gender Gap in Secondary School Mathematics at High Achievement Levels porównywane są wyniki testu SAT z wynikami bardziej wymagających testów, mianowicie konkursów matematycznych organizowanych przez ACM. Po drugie, zamiast patrzeć na średnie, porównuje się udział kobiet w grupie osób mających x% najlepszych wyników.
Tak się to robi!
Zobaczmy wykres
[Rysunek 4. Udział kobiet (os OY) w grupie osób o x% najlepszych wyników (oś OX). Na podstawie artykułu tutaj]
Z rysunku 4 można odczytać trend im wyżej odcinamy tym więcej mężczyzn będzie w odciętej grupie. Czy taki podobny trend obserwuje się w wynikach z gimnazjów nie wiadomo, ponieważ tam badacze zdecydowali się na pokazywanie gęstości.

Podsumowanie

Chciałbym dostać się jakoś do wyników z gimnazjum i z matur, może jesteście w stanie jakoś mi pomóc?
Ciekawe byłoby porównanie wyników z testu gimnazjalnego i wyników z matur.
Ciekawe byłoby też określenie jak motywacja do nauki wpływa na wyniki, i czy można zidentyfikować efekt motywowania dziecka do nauki.

Ważny komentarz

Porównywanie rozkładów wyników to ciekawe zadanie dotyczące dużych populacji. Może być użyteczne w planowaniu systemu edukacji (np. zasadności koedukacji). Nie należy jednak przeceniać tych efektów gdy mówi się o jednostkach. To, że jest większa obecność mężczyzn w grupie osób, które mają wysokie wyniki SAT MATH nie miało wpływu na fakt, że jedyną osoba z dwoma nagrodami Nobla w dwóch różnych dziedzinach nauk przyrodniczych jest kobieta Maria Skłodowska-Curie. To, że kobiety mają więcej punktów z części humanistycznej nie miało wpływu na fakt, że najlepszym polskim poetą jest mężczyzna Zbigniew Herbert*.

 

* Oczywiście w przypadku poetów jest to zupełnie subiektywne odczucie.

Kobiety kochają matematykę

W poprzednim tygodniu w środę odbyły się Flaszki, o których pisałem między innymi w tym wpisie (lokalne wydarzenie w stylu TED talks). Dwa wystąpienia poświęcone były nierównościom w szansach na dobrą pracę w IT dla kobiet. Drugie z wystąpień prowadzone było przez Kamilę Sidor, współzałożycielkę założycielkę serwisu Geek Girls Carrots. Pytanie, będące szkieletem prezentacji, brzmiało ,,Dlaczego jest tak mało kobiet w IT?”. Padły liczby: wśród najlepszych uczniów z matematyki w szkole średniej 50% to kobiety, a w branży IT kobiet jest 10% [Alek J podesłał ten link z dyskusją nt. tego wystąpienia]. Hmmm, w mojej głowie zaszczepiło się pytanie.

W gronie kobiet które znam są zarówno takie, które spełniają się pracując w domu przy dzieciach, jak i takie, które są prezesami, dyrektorkami, czy naukowcami. To jednak może nie jest najbardziej reprezentatywna grupa, spójrzmy więc na szanse kobiet szerzej. W najbliższy czwartek będzie 8 marca, święto kobiet. Może jest to dobry czas by spojrzeć z boku na liczby dotyczące różnic w traktowaniu kobiet. Nie szukając w nich dowodów na poparcie lub odrzucenie jakiejś tezy.

Dzisiaj przyjrzę się liczbie kobiet w gronie finalistek olimpiady matematycznej, liczbie kobiet studiujących na Wydziale Matematyki i Informatyki Uniwersytetu Warszawskiego, kobietom w polityce i kobietom w nauce. Temat kobiet planowany jest tez na wpisy środowy i piątkowy, więc jeżeli znacie ciekawe statystyki/opracowania dotyczące tego tematu to podzielcie się nimi w komentarzach.

Kobiety w gronie finalistek Olimpiady Matematycznej

W różnych pozycjach książkowych przeczytać można o większych umiejętnościach matematycznych wśród chłopców. Czy jest to jednak wynikiem wyłącznie propagandy? Nie mamy żadnych możliwości oddzielenia wpływu umiejętności matematycznych związanych z płcią a wpływu z różnic w traktowaniu młodych chłopców i młodych dziewczynek. Pozostaje tylko zobaczyć jaki jest stan obecny i jaki trend obserwuje się w ostatnich latach. Najchętniej przyjrzałbym się wynikom z matur, ale nie mam do nich dostępu. Zobaczmy więc jak wyglądają sukcesy kobiet w finałach Olimpiady Matematycznej.

Na stronach Olimpiady Matematycznej, można znaleźć listy finalistów z kolejnych lat wraz z informacją jaką szkołę finaliści reprezentują. Te dane zostały przetworzone, w wyniku czego dodałem nowy zbiór danych oraz wykonałem poniższą wizualizację.

[Rysunek 1. Podsumowanie obecności kobiet wśród finalistek Olimpiady Matematycznej. Górny wykres przedstawia udział kobiet w gronie finalistek z różnych województw. Procent kobiet wśród finalistek waha się od 1.4% do 17.8% czyli dosyć znacząco, ale trudno znaleźć wyraźny wzorzec przestrzenny, tłumaczący te różnice w udziale finalistek. Lewy dolny obrazek przedstawia zależność pomiędzy wielkością miasta a procentem kobiet wśród finalistów z tego miasta. Wielkość mierzona jest liczbą finalistów. Zauważyć można tendencję, że im większe miasto tym większy procent finalistów to kobiety. Niewielu jednak miastom udaje się przekroczyć 10% udziału kobiet. Ostatni wykres pokazuje procent kobiet w gronie finalistek jako funkcję roku w którym olimpiada miała miejsce. Zaznaczono trend liniowy jak i zastosowano lokalne wygładzanie.]

Patrząc na te wyniki zauważyć można dwie rzeczy. Po pierwsze zdecydowana większość finalistów to mężczyźni, kobiet wśród finalistów jest obecnie około 6-8%. Po drugie z czasem procent kobiet wzrasta, podobnie procent kobiet wśród finalistów wzrasta wraz z wielkością miasta, które reprezentują. Co sugeruje uwalnianie się potencjału kobiet tam gdzie indoktrynacja jest prawdopodobnie mniejsza. Do jakiej wartości można ,,dojść” mam nadzieję że się okaże.

Kobiety w gronie studentów Wydziału Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego

Zobaczmy teraz ile kobiet spotkamy wśród studentów na wydziale MIM UW. Dobry wydział na dobrej uczelni, dwa kierunki: matematyka i informatyka.

[Rysunek 2. Procent studentek wśród wszystkich studiujących na wydziale MIMUW, jako funkcja roku urodzenia. Dorysowano krzywą regresji liniowej aby podkreślić trend.]

Procent kobiet wśród studentów rośnie z czasem. Kryteria przyjęcia są takie same dla obu płci, więc zmieniające się proporcje świadczą o rosnącym zainteresowaniu kobiet studiowaniem matematyki i informatyki na solidnym poziomie.

Oczywiście procent kobiet wśród studentów różni się pomiędzy tymi dwom kierunkami. Ponieważ program studiów na wydziale MIMUW jest bardzo elastyczny, trudno jest jednoznacznie policzyć udział kobiet wśród studentów matematyki i informatyki osobno (są studia jednoczesne, ludzie się przepisują itp). Z grubsza na informatyce udział kobiet to małe kilkanaście procent a na matematyce jest to ponad 30%. Ale jak pisałem dokładne liczby trudno przytoczyć bez bezpośredniego dostępu do USOSa.

Kobiety wśród posłów VI kadencji Sejmu RP

Można zapytać, czy 25% kobiet w ostatnich rekrutacjach na wydział MIMWU to dużo czy mało. Porównajmy ją z udziałem kobiet w Sejmie VI kadencji.

Tutaj pozwolę sobie na mały komentarz. Określenie płci jest proste na podstawie imienia. Zazwyczaj wystarczy sprawdzić czy ostatnia litera imienia to ‚a’. Popularnie wymieniane wyjątki to Bonawentura i Maria, tak więc w przypadku posłanek należy do tej reguły dopisać jeszcze jeden wyjątek, mianowicie Nelli.

W sejmie mamy więc 95 kobiet i 355 mężczyzn co daje 21% udziału kobiet w sejmie. Przypomnijmy, że wprowadzony półtora roku temu parytet wymagał by na listach wyborczych znajdowało się przynajmniej 35% kobiet.

Tak więc pomimo parytetu, w sejmie jest procentowo mniej kobiet niż wśród studentek matematyki i informatyki! 

Kobiety wśród ekspertów NCN

Jakiś czas temu przedstawialiśmy analizę listy ekspertów oceniających wnioski w konkursach na granty dla naukowców. Eksperci powinni być przedstawicielami najlepszych naukowców z różnych dziedzin. Wśród ekspertów NCN z roku 2011 kobiet było 109 a mężczyzn 406. Co daje 21% udziału kobiet wśród reprezentantów najlepszych naukowców.

Kobiety wśród moich dyplomantów

Od kilku lat prowadzę Pracownią Analiz Statystycznych i Konsultingu (PASIK, link tutaj) w ramach której studenci piszą u mnie pracę dyplomowe. Jaki procent z dyplomantów to kobiety?
Okazuje się, że 72%.  I jest to wynik najbliższy 50% ze wszystkich liczb przedstawionych w tym wpisie.