Lektury szkolne, jak to zrobić w R

Kilka dni temu przedstawiałem wizualizację danych o szkolnych lekturach i autorach tych lektur (zobacz ten wpis).

Żałuję, że gdy byłem w liceum takie wizualizacje nie wisiały na ścianach ‘Klasy od Polskiego’. Ale kto wie, może gdy moje dzieci będą w liceum, sytuacja może będzie wyglądała lepiej.

Wersja wektorowa [pdf] wizualizacji lektur jest dostępna do pobrania tutaj.

Skrypt w programie R, który tę wizualizacje generuje dla zadanego zbioru danych, jest dostępny do pobrania tutaj.

I zbiór danych o lekturach i ich autorach jest do pobrania tutaj.

Lektury szkolne

Pracuję właśnie nad kilkoma esejami o wizualizacji danych. Ponieważ chciałbym by były one bogate w przykłady, tworzę przykładowe wizualizacje danych. Jednym z ciekawszych pomysłów od pierwszych czytelników jest graficzne przedstawienie lektur szkolnych. Dziś chciałbym opisać pierwsze podejście do tego tematu.

Lektur jest wiele, ograniczmy się więc tylko do liceum i do okresu od roku 1700 do współczesności. Nauczyciele mają pewną swobodę w wyborze lektur, w przypadku poniższej prezentacji wybór lektur dodatkowych został dokonany przez Panią Prezes Fundacji.

Co mamy na wykresie? Czerwona kropa to lektura, a jej pozycja na osi OX odpowiada dacie pierwszej publikacji. Lektury są podzielone na polskie i zagraniczne, choć nie zawsze ten podział jest oczywisty. Szarymi prostokątami zaznaczono okres życia autora lektury.

Na podstawie tej prostej w sumie prezentacji opowiedzieć można kilka ciekawych historii z życia autorów.

  • Dlaczego Proces został opublikowany po śmierci Franza Kafki?Franz Kafka pisał “do szuflady”, a jego dzieła znamy tylko dlatego, że jego przyjaciel, Max Brod, nie posłuchał jego ostatniej woli  i ich nie spalił.
  • Co łączy Słowackiego, Mickiewicza, Borowskiego i Baczyńskiego?Wszyscy oni napisali dzieła, które stały się lekturami szkolnymi przed 30. rokiem życia.
  • Czy Johann Wolfgang Goethe napisał Fausta po osiemdziesiątce?Tak, ponieważ Goethe tworzył Fausta przez całe dorosłe życie, a drugi tom został wydany dopiero po jego śmierci.

Mapę wszystkich lektur pobrać można klikając na rysunek powyżej.

Edukacja – wyzwania przyszłości

Wczoraj w pałacu prezydenckim miała miejsce debata ,,Edukacja – wyzwania przyszłości. Jak zaspokoić aspiracje i nie zmarnować potencjału pokolenia wiedzy”.

Pretekstem były oczywiście wyniki PISA 2012 [ta nazwa pojawiała się zresztą bardzo często choć niestety najczęściej wyłącznie w kontekście pozycji w rankingu tego czy innego kraju], ale dyskusja toczyła się na tematy nie tylko związane z edukacją 15-latków, nawet nie tylko związane z edukacją szkolną, ale edukacją w ogóle.
Wypowiedzi było wiele, ale z uwagi na ograniczenia czasowe większość wypowiedzi była ograniczona do 5 minut (paneliści) lub jednej minuty (sala). Nie było więc czasu na szczegółowe zderzanie pomysłów, ale nawet w tych krótkich wypowiedziach poruszano interesujące tematy. Poniżej pozwolę sobie przedstawić te moim zdaniem ciekawsze.

Debatę otwarła wypowiedź Prezydenta, w której pojawiło się ,,polski system edukacji nie potrzebuje już radykalnych zmian” (w kontekście dobrych wyników w PISA 2012 uzyskanych dzięki dobrym reformom poprzednich rządów, poczynając od ministra Mirosława Handke). I choć większość kolejnych prelegentów jednak podnosiła temat potrzeby jakichś zmian, to te słowa przypomniały mi główne przesłanie konferencji organizowanej przez UNESCO pół roku temu, również na temat edukacji. Połowa wystąpień na tamtej konferencji dotyczyła szkodliwych efektów radykalnych zmian, które są wprowadzane zbyt często by zobaczyć jakikolwiek ich efekt, a są gonione przez kolejne zmiany. Ewolucja zamiast rewolucji?

Pierwszy referat, prowadzony przez prof. Krzysztofa Spalika, dotyczył przedstawienia badania PISA i wyjaśnienia pewnych podstawowych zagadnień związanych z tym badaniem. Z ciekawszych uwag: prof. Spalik podkreślał, że PISA mierzy umiejętności w rozwiązywaniu zadań a nie wiedzę. Wiedza w różnych krajach będzie się różniła, ponieważ różne są profile kształcenia, ale umiejętności dotyczące stosowania tej wiedzy do rozwiązywania ,,życiowych” problemów są czymś co można porównywać. Zaznaczał, że w badaniu jest dużo prostych pytań, bo celem jest diagnoza umiejętności a nie selekcja najlepszych absolwentów. Podkreślił też, że PISA to nie jest tylko test (czasem jest tak niestety określana), wśród zadań są też zadania otwarte a pytania są tak skonstruowane by badać umiejętności rozwiązywania problemów a nie zgadywania.

Następnie wypowiadała się prof. Krystyna Szafraniec, która podniosła problem przekazywania w procesie edukacji nie tylko wiedzy ale również postaw. Poruszyła problem rosnącej scholaryzacji w szkolnictwie wyższym i sytuacji gdzie ilość nie przeszła w jakość. Poruszyła też ciekawy temat (szkoda, że nie został szerzej rozwinięty) mianowicie, że obserwowana dewaluacja dyplomu przerodziła się w malejące aspiracje edukacyjne młodzieży, a oczekiwania związane z wykształceniem coraz silniej dotyczą kształcenia zawodowego. Czyli presja na pragmatyzację uczenia. Demotywująco działa też sytuacja, w której uczelnie wyższe przyjmują praktycznie każdego, więc młodej osobie łatwiej dostać się na studia niż znaleźć pracę.

Głosy za i przeciw edukacji zawodowej przewijały się zresztą przez całą debatę. Więcej było chyba zwolenników edukacji ogólnej, którzy zazwyczaj jako argumentów używali ‘jakich praktycznych umiejętności uczyć, skoro nie wiadomo jakie będą potrzebne za 10 lat’ oraz ‘jak w szkołach i na uczelniach mają się znaleźć osoby z doświadczeniem i głęboką znajomością praktycznych umiejętności’.

Związek edukacji i zawodu pojawiał się często w wypowiedziach. Doszło do ciekawego starcia opinii na temat elastyczności przyszłych losów zawodowych. Z opinią, że ‘współczesna młodzież w ciągu 30 lat pracy zawodowej kilkukrotnie zmieni zawód’ zderzono opinię ‘może zmieni zajęcie lub miejsce pracy, ale nie zawód, czy można wyobrazić sobie chirurga zmieniającego kilkukrotnie zawód?’.

Pojawił się temat rozwarstwienia uczniów w szkołach. Mówił o nim np. Mirosław Sielatycki, który używając haseł ,,dłużej razem” nawiązał do reformy wprowadzającej gimnazja (mającej wydłużyć do 6+3 lat okres w którym uczniowie uczą się razem). Widząc co się dzieje w Warszawie (i nie tylko) zadał pytanie czy to nie jest to ,,razem z podobnymi sobie”, gdzie gimnazja stają się elementem coraz silniejszej selekcji (czy ja już pisałem o egzaminach ze szlaczków do prywatnych podstawówek?). Używając barwnych określeń typu ,,grodzone szkoły” wskazał bardzo jasno poważny problem do rozwiązania, czy chcemy mieszanych czy homogenicznych szkół (zarówno w wymiarze umiejętności uczniów jak i zamożności rodziców).

dr Jacek Strzemieczny wskazał inny potencjalny problem: zadowolenie z rosnącego poziomu twardych umiejętności przesłania nam obraz spadających kompetencji społecznych i coraz niższej aktywności społecznej młodych [mierzonej np. przez udział w wyborach]. Niestety umknęło mi, na jakie badania tych kompetencji się powoływał [może ktoś zna literaturę w tym temacie?].

Dyrektor CNK Robert Firmhofer, używając metafory gimbusa, który nie porusza się już liniowo po ścieżkach wiedzy, powiedział, że młodzież nie chce siedzieć z tyłu tego gimbusa ale woli miejsca z przodu. A najlepiej to kierować tym gimbusem. Uczniowie chcą coś robić a nie tylko słuchać, chcą być aktywni, chcą szansy na bycie twórczym i edukacji opartej na współpracy i partnerstwie. Wyraził też obawę, że trudno to zrozumieć osobom projektującym teraz edukacje, które są z innego pokolenia.

Pan Marek Darecki [Dolina Lotnicza] zadał trudne pytanie, ja przejść z fazy sprawnej fabryki produkcyjnej do kreatywnego tworzenia technologii. W ogóle to podczas całej debaty zadano wiele pytań, były one spisywane i należy mieć nadzieję, że ktoś (najpewniej minister edukacji) się do nich odniesie.

Po panelu przyszedł czas na dyskusję, chętnych do dyskutowania było wielu, ale niestety czasu niewiele.
Z ciekawszych tematów w twitterowym skrócie: ,,kreatywność – innowacyjność, puste słowa, inwestujmy w edukacje to coś konkretnego”, ,,edukacja – zacznij od siebie”, zamiast reformować całe szkolnictwo na wysokim poziomie popracujmy lokalnie, na początek zaczynając od ludzkiego podejścia do młodych ludzi. ,,potrzebujemy debat: o integracji środowiska naukowego i nauczycielskiego, o edukacji na poziomie szkolnictwa wyższego, edukacji nieformalnej, edukacji kulturowej”.
Pojawiły się też zastrzeżenia, czy wysokie noty w twardych umiejętnościach nie są wynikiem morderczego treningu co skutkuje zwiększonymi problemami psychicznymi dzieci i brakiem czasu na kształtowanie charakterów (tu przykład Korei).

Jednym z ostatnich pytań było ,,Edukacja tak, ale dla kogo i po co?”. Pytanie trafione, ponieważ koncepcji na temat edukacji jest wiele ale brakuje jasnych deklaracji ,,zmierzamy w tym kierunku”.

W ciągu trzech miesięcy ma się pojawić raport podsumowujący całą debatę, z pewnością o nim napiszemy.

Wybrane fakty i mity na temat PISA 2012

Otrzymałem ostatnio link do bloga pana Ksawerego Stojdy ,,PISA 2012 – próba analizy krytycznej”, w którym autor krytykuje badanie PISA przedstawiając własne doświadczenia z analiz danych PISA 2012.

Autor tego bloga podjął się niezależnych analiz danych PISA (chwała mu za to) ale dosyć szybko się zraża i jak coś mu się nie pasuje to często używa słowa ,,manipulacja” (o badaniu) lub ,,matoły” (o niektórych uczniach).
W wielu przypadkach wnika to z nieznajomości pewnych założeń badania. A że te założenia są ciekawe stwierdziłem, że warto o nich napisać w formie polemiki z blogiem pana Ksawerego Stojdy.
Wypada zaznaczyć, że nie jestem zupełnie obiektywny. Znając analityków pracujących nad analizami danych PISA mam wysokie zdanie zarówno o wynikach jak i o tym zespole osób. Znając również metody ich pracy, uważam wszelkie pomówienia o manipulacje za wysoce kłamliwe. W badaniu tej skali pewne rzeczy mogą być niejasne lub niedoskonałe, ale można niejasności łatwo wyjaśnić mailowo z prowadzącymi badanie.

Poniżej umieszczam cytaty z w.w. bloga wraz z moimi komentarzami/sprostowaniami. Odnoszę się tylko do konkretnych zarzutów. Pomijam zdania opisujące ogólne przekonanie o manipulowaniu czymś przez kogoś bez konkretów.

Jako statystyka, bardzo cieszy mnie, gdy dyskusja przenosi się na poziom analizy danych. Mam nadzieję, że w miarę jak wiedza o konstrukcji badania PISA będzie powszechniejsza, liczba ciekawych wyników i wniosków wysnutych z tych danych będzie rosła i rosła.

Zaskakujące jednak jest przyjrzenie się liczbie pytań, na które odpowiadali poszczególni uczniowie. Drobne różnice byłyby zrozumiałe — do jednego zestawu weszło zadanie z 4 pytaniami Q1-Q4, a do drugiego takie z Q1-Q5. Tymczasem obserwowane różnice liczby pytań, za jakie oceniany był uczeń, są dramatycznie różne: od 13 do 45. Taka rozpiętość sugeruja raczej nie bałagan w tworzeniu zestawów pytań o niespójnej objętości, ale raczej usunięcie części odpowiedzi z publikowanych danych.

Jeżeli odrzucić teorie spiskowe to można łatwo znaleźć prawdziwą przyczynę takiej rozpiętości. Opisaną zresztą w dokumentacji.

Jest jeden specjalny zestaw zadań (o ile pamiętam booklet 20) który jest ,,One-hour booklet and short questionnaire (UH Booklet and UH Questionnaire) for students with special education needs”.

Ma on mniej zadań ale jest przeznaczony tylko dla uczniów ze ,,specjalnymi potrzebami”.

Zniekształcona grupa odniesienia

PISA deklaruje, że stara się z każdego kraju badać próbę uczniów tej samej wielkości (ok. 5000). Już to podejście tworzy zafałszowany obraz odniesienia populacji wszystkich badanych krajów (w domyśle całego świata) — Estonia wnosi do tej puli tyle samo co Francja, czyli estoński uczeń ponad 50 razy więcej, niż francuski. Te proporcje zotały jednak dodatkowo zniekształcone: z większości krajów próby sa wprawdzie około 5000, to kilka krajów jest bardzo silnie nadreprezentowana, nawet do liczności ponad 20,000, czyli ponad czterokrotnie. Takimi nadreprezentowanymi w tworzeniu obrazu odniesienia krajami są m.in. Emiraty Arabskie, Kanada i Finlandia.

Minimalna wielkość próby (ustawiona na około 5000) jest potrzebna by uzyskać odpowiednią dokładność oceny średnich umiejętności w kraju. Większa próba w niczym nie szkodzi.

Każdy student ma wagę opisującą jego ,,reprezentatywność”. Dlatego wszystkie analizy powinny być przeprowadzane z uwzględnieniem tych wag. W krajach gdzie wykonano ,,oversampling” wagi są niższe by uwzględnić różne wielkości próby.
Podobnie w krajach takich jak Luksemburg, gdzie w całym kraju być może nie ma 5000 15-latków, wagi są tak dobrane by uwzględnić inne reprezentatywności studentów z poszczególnych krajów.

Kraje robiły oversampling (jeżeli chciały) by się czegoś dodatkowego ciekawego dowiedzieć. O ile pamiętam Polska robiła oversampling szkół prywatnych, dzięki czemu lepiej mogła ocenić charakterystyki szkół prywatnych.
W próbie jest więc więcej uczniów ze szkół prywatnych i więcej uczniów ze szkół małych niż jest ich w całym kraju, ale po to są wagi by te różnice uwzględnić.

Aby poprawnie wykonać analizy należy te wagi uwzględnić (tak jak jest to opisane w przewodniku po metodologii).

Zastanówmy się jednak nad realnością sytuacji, że na 30% najłatwiejszych pytań potrafiło odpowiedzieć (i odpowiedziało) ponad 98% uczniów. Mamy tylko 2% matołów i olewaczy? To jest dopiero sukces polskiej szkoły!
Z drugiej strony popatrzmy na prawą stronę tego wykresu: tylko 5% uczniów (i to już tych przeselekcjonowanych manipulacją PISA…) umie odpowiedzieć na co najmniej 90% pytań — z tego, co można wnioskować po przeczytaniu tych kilku ujawnionych — pytań trywialnych i oczywistych dla każdego, kto uzyskał maturę za czasów minionego ustroju.

Konstrukcja zadań w badaniu PISA zakłada, że w kwestionariuszu są zarówno bardzo proste jak i bardzo trudne zadania. Dlatego jedynie niewielka liczba uczniów nie potrafi rozwiązać żadnego zadania lub potrafi rozwiązać wszystkie zadania.

Takie zestawienie zadań pozwala z dobrą dokładnością szacować poziom umiejętności zarówno osób słabych jak i bardzo dobrych. Jeżeli tym samym formularzem planujemy porównywać wyniki elitarnych szkół w Korei czy Singapurze ze szkołami w Meksyku czy Peru to musimy mieć formularz o szerokiej skali.

Patrząc na to, jak wygląda rozkład umiejętności 15-latków na świecie, uczniowie w Polsce mają całkiem niezłą sytuację.
Nikogo nie dziwi, że 15-latek w Polsce potrafi biegle czytać i pisać. A to umiejętności wystarczające do rozwiązania pewnych zadań i umiejętności wcale nie takie oczywiste wśród 15-latków w innych krajach.

Błędna dokumentacja

PISA opublikowała „surowe dane” jako plik tekstowy wraz z opisem jego składni (jak zapisane są informacje). Ten opis jest ewidentnie fałszywy, w szczególności według opisu każda linijka tych danych powinna zawierać 545 znaków, natomiast plik składa się z linijek o długości 541 znaków.

Nazywanie opisu ,,ewidentnie fałszywym” ponieważ brakuje nazw dla ostatnich czterech kolumn jest chyba nadużyciem.

Nie znam żadnego badania opartego o ankiety wykonanego w skali PISA (500 000 przebadanych osób w ponad 60 krajach, setki zmiennych, trzy formaty zapisu danych), które byłoby tak dobrze opisane i udokumentowane.

Jeżeli ktoś ma problemy z odczytaniem pliku tekstowego, może korzystać z gotowych danych do wczytania jednym kliknięciem w formacie programu SPSS, SAS czy R (np z pakietu PISA2012lite https://github.com/pbiecek/PISA2012lite)

Można również poprosić zespół PISA o wsparcie. W razie wątpliwości zaktualizują dane lub rozszerzą opis.
Pracując na danych z 2003 roku okazało się, że brakuje kilku kolumn, wystarczyło napisać maila i po dwóch dniach dane były uaktualnione.

Brak informacji o zadaniach

W publikowanych danych nie ma treści zadań. Nie ma też o nich tak ważnych informacji, jak to, to jakiej grupy trudności były zaliczone i jaka była ich punktacja. Jedyne, co można się dowiedzieć, to:

Część zadań jest publikowanych po badaniu. Ale większość nie.
I jest ku temu powód. Część z tych zadań jest wykorzystywana w kolejnych edycjach badania aby móc rzetelnie badać czy poziom umiejętności w rozwiązywaniu określonego zadania wzrósł czy nie.
Te pytania są silnie strzeżonym sekretem.
Takie pytania są potrzebne by można było porównywać wyniki pomiędzy różnymi edycjami (wyskalować dane do tendów).

Brakujące pytania

Na liście znajdujemy pytania o nazwach: „MATH – P2012 Chocolate Q2″, „MATH – P2012 Chocolate Q3″ i „… – Q5″. Ale o pytaniach Q1 i Q4 do tego tekstu ani widu, ani słychu. Podobnych brakujących pytań jest bardzo dużo, dotyczy to niemal połowy zadań. W najgorszym przypadku (najtrudniejsze z zadań z serii ‚Reading’: „Narcissus”) mamy Q1, Q6 i Q7, ale Q2-5 nie istnieją. Uczniowie na te pytania odpowiadali, ale oceny odpowiedzi na nie zniknęły przed opublikowaniem zbioru „surowych” danych.

Pytania są najpierw opracowane przez ekspertów a później są testowane ,,na placu boju” (w badaniach pilotowych). Jeżeli eksperci przygotują siedem podpunktów do jednego pytania (czyli to Q1 … Q7) ale część z podpunktów nie przejdzie testów neutralności, to te podpunkty są usuwane z puli pytań i nie biorą udziału w badaniach.
Ale dla czytelności nie zmienia się oznaczeń pytań.

Testy neutralności polegają na przykład na sprawdzeniu, czy określone pytanie nie jest nadzwyczaj łatwe/trudne dla określonego kraju lub określonej płci. Jeżeli na etapie testów pytanie nie jet neutralne kulturowo to będzie usunięte by nie zaburzać wyników.

Brakujące ankiety

Z ogromnym zaskoczeniem zauważyłem, że w Polsce nie zdarzył się ani jeden przypadek ucznia, który oddałby pusty formularz: nie próbując nawet odpowiedzieć na żadne z pytań. Cóż za budująca masowość zaangażowania gimnazjalistów w badania naukowe! ;)
W wielu krajach sytuacja jest podobna, w niektórych innych takie formularze zdarzają się, ale ich liczba jest nierealistycznie niska (poniżej 1%)

Nie potrafię znaleźć innego wytłumaczenia dla tego braku pustych odpowiedzi, niż usunięcie ich z pliku „surowych” danych.

No cóż, ja potrafię znaleźć inne wytłumaczenia.
Najbardziej oczywistym jest to, że wbrew powszechnym narzekaniom 15-latkom się chce.

Brak bardzo złych odpowiedzi

W całym Polskim badaniu (na 4607 formularzy uczniowskich opublikowanych w zbiorze) jest aż jeden (tak, dokładnie jeden na 4607 opublikowanych formularzy) uczeń, który nie odpowiedział poprawnie na żadne z pytań. W innych krajach jest niewiele lepiej. W Kanadzie na 21,544 opublikowanych wyników jest tylko 48 takich „zupełnych analfabetów”.

W dobrym badaniu, w którym chce testować się szeroką rozpiętość umiejętności, umieszcza się zarówno proste jak i trudne pytania.
Dlatego w puli zadań są też dla przeciętnie wyedukowanego gimnazjalisty zadania oczywiste.
Są wręcz pytania, do których rozwiązania wystarczy umiejętność czytania.
Jednym z powodów, dla którego takie zadania są potrzebne jest chociażby ocena na ile poważnie uczniowie podchodzili do badania. Do analizy rzetelności należy najpierw zbadać zaangażowanie studentów biorących udział w tym badaniu.

Identyczne odpowiedzi

Około 10% polskich formularzy (419 na 4607) odpowiedzi jest w 100% zgodne z jakimś innym formularzem. Nie jest to ani efekt typu „obaj uczniowie odpowiedzieli dobrze na wszystkie pytania”, ani „obaj nie odpowiedzieli na żadne” — dotyczy to również formularzy, gdzie poprawnie odpowiedziano na połowę czy 2/3 pytań. Przypadkowa zbiezność jest nieprawdopodobna.

To nie jest takie dziwne jeżeli uwzględnić, że część pytań jest bardzo prosta i większość uczniów je robi, część jest trudna i większość ich nie robi. Wygląda jak zwykły paradoks dnia urodzin

http://pl.wikipedia.org/wiki/Paradoks_dnia_urodzin

Nawet przyjmując za dobrą monetę rzetelność badania, należy właściwie interpretować ten „niesamowity polski sukces” — oznacza on, że jeśli uczniom dajemy 40 pytań, w większości banalnych i skrajnie oczywistych, to na całym świecie w roku 2000 średnio uczniowie odpowiadali poprawnie na 24 z nich, a w Polsce dziś aż na 25.

To niezrozumienie sposobu w jaki bada się umiejętności. Badania w kwestionariuszu nie mają takich samych poziomów trudności. Wręcz mają różną skalę trudności. Może być dużą różnicą przeskoczenie z poziomu 24 rozwiązanych zadań na 25 rozwiązanych zadań ponieważ to dodatkowe zadanie świadczy to o szerszej skali umiejętności.

Analogia ze sportu. Jeżeli mistrzowie z Jamajki biegają 100 metrów w 9.9 sekundy a mistrzowie z innych krajów biegają 100 metrów w 10 sekund, to nie mówimy że różnica jest niewielka. Ta jedna setna robi różnice, bo każda kolejna jedna setna wymaga bardzo dużego zestawu umiejętności.

Podobnie jest z rozwiązaniem średnio 24 lub 25 zadań. To są duże różnice.

Symbole krajów według prywatnej konwencji PISA (kto im bronił stosować konwencję ISO?), ale daje się domyśleć, że POL to Polska, EST – Estonia, a SWE – Szwecja. QCN to Szanghaj.

PISA używa konwencji ISO 3 (trzyliterowe skróty). Wyjątkiem są obszary, które nie są krajami i nie mają swoich kodów ISO
(np. Szanghaj).

Jeszcze jedna ciekawostka: w zbiorze „surowych” danych z całego świata są dane z tylko 43 krajów. A w PISA uczestniczy 65. Dane z pozostałych wyparowały. Według publikacji PISA badanie dotyczyło „around 510 000 students”, a w udostępnionym pliku są tylko 271,323 rekordy.

Polecam korzystanie z pakietu PISA2012lite dla programu R (darmowy open source do analiz statystycznych).

https://github.com/pbiecek/PISA2012lite

Są dane la wszystkich krajów do załadowania w kilkanaście sekund (nie licząc czasu ściągania 200MB z internetu).

Chodzą wprawdzie plotki, że w różnych krajach (w tym Polsce — ponoć uczniowie nie odpowiadali na pytania z rachunku prawdopodobieństwa) część zadań nie była oceniana, a ich wyniki byłý ekstrapolowane z wyników innych zadań.

Nie wiem gdzie takie plotki chodzą. W przypadku prawdopodobieństwa łatwo sprawdzić, że polscy uczniowie na pytania z rachunku prawdopodobieństwa odpowiadali. Jak to sprawdzić? Należy wybierając z klasyfikacji tylko zadania z prawdopodobieństwa i sprawdzać odpowiedzi dla Polski.

W ogólności jest tak, że nie wszystkie zestawy zadań były rozlosowane po wszystkich krajach. W roku 2012 zadania z matematyki były pogrupowane w 7 grup (klastrów). Przy czym grupy 6 i 7 wstępują w dwóch wariantach 6A/7A i 6B/7B. Wersja A jest trudniejsza niż B.

Dlatego w krajach w których spodziewano się niższych wyników rozlosowano więcej łatwych zadań by utrzymać dobrą rozdzielczość testu dla niższego poziomu umiejętności.

Patrząc na te liczby weźmy poprawkę na manipulację danymi (patrz niżej) — magiczne zniknięcie ankiet z bardzo złymi wynikami. Zauważmy, że na tym obrazku nie są przedstawione wyniki polskich uczniów, ani ich losowej czy reprezentatywnej próby: sa to uczniowie-aniołowie, spośród których ponad 98% odpowiada na najprostsze zadania! To tak, jakbyśmy w 30-osobowej klasie gimnazjalnej nie mieli ani jednego matoła, oddającego pustą kartkę, albo pokazującego nam gest Kozakiewicza na prośbę o wypełnienie testu.

Nie wiem po co uczniowie mieliby pokazywać ,,gest Kozakiewicza na prośbę o wypełnienie testu”. Może żyję w innej rzeczywistości, ale nie dziwi mnie to, że uczniowie otrzymując zadania próbują rozwiązać przynajmniej kilka, choćby z czystej ciekawości.

Badanie jest tak skonstruowane, że na rozwiązywanie zadań są ponad dwie godziny (dokładniej godzina przed i godzina po krótkiej przerwie). Po tych dwóch godzinach student proszony jest o wypełnienie kwestionariusza osobowego.
Dziwiłoby mnie gdyby uczniowie z czystej złośliwości oddawaliby puste arkusze bez próby rozwiązania zadań i czekali dwie godziny na wypełnienie kwestionariusza osobowego siedząc w ławce i się nudząc.

Wyniki konkursu i słów kilka o raporcie ,,Mów do rzeczy”

Dzisiaj dwa tematy, rozwiązanie konkursu na najgorszą wizualizację 2013 roku i kilka słów o raporcie ze wskazówkami jak robić dobre analizy/wizualizacje.

Konkurs zdecydowanie wygrała grafika Ministerstwa Nauki i Szkolnictwa Wyższego ,,Wydatki na badania i rozwój”. Wybrał ją praktycznie co drugi uczestnik zabawy, był to wynik dwukrotnie wyższy niż dla kolejnych pozycji. ,,Beautiful Evidence” Edwarda Tuftego otrzyma więc była minister nauki.



Być może niedługo laureatom takich konkursów będę mógł wysyłać polskojęzyczne pozycje o wizualizacji danych. Nad jedną teraz pracuję, inna, ciekawa, ukazała się w poprzednim roku.

Chodzi o publikację ,,Mów do rzeczy. Jak korzystać z danych w działaniach rzeczniczych?” opracowaną przez Pracownię Badań i Innowacji Społecznych ,,Stocznia”, którą można bezpłatnie pobrać z tego adresu.

Publikacja jest bardzo przystępna (miejscami może nawet za bardzo). Nie trzeba się zrażać podtytułem ,,badania rzecznicze”, ta publikacja jest praktycznie dla każdej osoby zajmującej się komunikacją z użyciem danych. Szczególnie polecam osobom początkującym. Ścisłowcy woleliby pewnie inny rozkład akcentów, ale i dla nich powinna być to ciekawa lektura.

Opisano w niej zagadnienia związane z organizacją badań opartych na dane, analizą danych, wizualizacją danych i przygotowaniem raportu. Całość to publikacja poniżej 140 stron, więc zagadnienia są opisane dosyć skrótowo, ale jest bardzo wiele odnośników, materiał jest bardzo ciekawie wybrany.

Szczególnie polecam rozdział 8 – wizualizacja danych, w którym znaleźć można interesując wskazówki i przykłady dobrych i złych grafik.