Jakich metod statystycznej analizy danych uczyć się?


The New England Journal of Medicine (dla bibliometroholików: 50 pkt MNiSW, impact factor ponad 50, pierwsza liga) opublikował dwa tygodnie temu krótki, ale bardzo ciekawy komentarz Statistical Methods. Przebadano 238 prac z roku 2015 pod kątem używanych technik statystycznych oraz zestawiono te wyniki z artykułami z poprzednich lat (od 1978, łącznie ~1000 artykułów).

Całość streszcza wykres po prawej (to link do oryginalnego artykułu). W dobrych czasopismach medycznych wykorzystywane są coraz bardziej zaawansowane metody statystyczne. Metody nieparametryczne i regresja wielokrotna w ponad 1/3 prac. Analiza przeżycia i analiza mocy testów, każde w ponad połowie artykułów (bardzo duży wzrost w ostatnich latach). Wielokrotne testowanie w co piątym artykule. Tylko co dwudziesty artykuł nie ma ,,statystyki”.

Edukacja – wyzwania przyszłości

Wczoraj w pałacu prezydenckim miała miejsce debata ,,Edukacja – wyzwania przyszłości. Jak zaspokoić aspiracje i nie zmarnować potencjału pokolenia wiedzy”.

Pretekstem były oczywiście wyniki PISA 2012 [ta nazwa pojawiała się zresztą bardzo często choć niestety najczęściej wyłącznie w kontekście pozycji w rankingu tego czy innego kraju], ale dyskusja toczyła się na tematy nie tylko związane z edukacją 15-latków, nawet nie tylko związane z edukacją szkolną, ale edukacją w ogóle.
Wypowiedzi było wiele, ale z uwagi na ograniczenia czasowe większość wypowiedzi była ograniczona do 5 minut (paneliści) lub jednej minuty (sala). Nie było więc czasu na szczegółowe zderzanie pomysłów, ale nawet w tych krótkich wypowiedziach poruszano interesujące tematy. Poniżej pozwolę sobie przedstawić te moim zdaniem ciekawsze.

Debatę otwarła wypowiedź Prezydenta, w której pojawiło się ,,polski system edukacji nie potrzebuje już radykalnych zmian” (w kontekście dobrych wyników w PISA 2012 uzyskanych dzięki dobrym reformom poprzednich rządów, poczynając od ministra Mirosława Handke). I choć większość kolejnych prelegentów jednak podnosiła temat potrzeby jakichś zmian, to te słowa przypomniały mi główne przesłanie konferencji organizowanej przez UNESCO pół roku temu, również na temat edukacji. Połowa wystąpień na tamtej konferencji dotyczyła szkodliwych efektów radykalnych zmian, które są wprowadzane zbyt często by zobaczyć jakikolwiek ich efekt, a są gonione przez kolejne zmiany. Ewolucja zamiast rewolucji?

Pierwszy referat, prowadzony przez prof. Krzysztofa Spalika, dotyczył przedstawienia badania PISA i wyjaśnienia pewnych podstawowych zagadnień związanych z tym badaniem. Z ciekawszych uwag: prof. Spalik podkreślał, że PISA mierzy umiejętności w rozwiązywaniu zadań a nie wiedzę. Wiedza w różnych krajach będzie się różniła, ponieważ różne są profile kształcenia, ale umiejętności dotyczące stosowania tej wiedzy do rozwiązywania ,,życiowych” problemów są czymś co można porównywać. Zaznaczał, że w badaniu jest dużo prostych pytań, bo celem jest diagnoza umiejętności a nie selekcja najlepszych absolwentów. Podkreślił też, że PISA to nie jest tylko test (czasem jest tak niestety określana), wśród zadań są też zadania otwarte a pytania są tak skonstruowane by badać umiejętności rozwiązywania problemów a nie zgadywania.

Następnie wypowiadała się prof. Krystyna Szafraniec, która podniosła problem przekazywania w procesie edukacji nie tylko wiedzy ale również postaw. Poruszyła problem rosnącej scholaryzacji w szkolnictwie wyższym i sytuacji gdzie ilość nie przeszła w jakość. Poruszyła też ciekawy temat (szkoda, że nie został szerzej rozwinięty) mianowicie, że obserwowana dewaluacja dyplomu przerodziła się w malejące aspiracje edukacyjne młodzieży, a oczekiwania związane z wykształceniem coraz silniej dotyczą kształcenia zawodowego. Czyli presja na pragmatyzację uczenia. Demotywująco działa też sytuacja, w której uczelnie wyższe przyjmują praktycznie każdego, więc młodej osobie łatwiej dostać się na studia niż znaleźć pracę.

Głosy za i przeciw edukacji zawodowej przewijały się zresztą przez całą debatę. Więcej było chyba zwolenników edukacji ogólnej, którzy zazwyczaj jako argumentów używali ‘jakich praktycznych umiejętności uczyć, skoro nie wiadomo jakie będą potrzebne za 10 lat’ oraz ‘jak w szkołach i na uczelniach mają się znaleźć osoby z doświadczeniem i głęboką znajomością praktycznych umiejętności’.

Związek edukacji i zawodu pojawiał się często w wypowiedziach. Doszło do ciekawego starcia opinii na temat elastyczności przyszłych losów zawodowych. Z opinią, że ‘współczesna młodzież w ciągu 30 lat pracy zawodowej kilkukrotnie zmieni zawód’ zderzono opinię ‘może zmieni zajęcie lub miejsce pracy, ale nie zawód, czy można wyobrazić sobie chirurga zmieniającego kilkukrotnie zawód?’.

Pojawił się temat rozwarstwienia uczniów w szkołach. Mówił o nim np. Mirosław Sielatycki, który używając haseł ,,dłużej razem” nawiązał do reformy wprowadzającej gimnazja (mającej wydłużyć do 6+3 lat okres w którym uczniowie uczą się razem). Widząc co się dzieje w Warszawie (i nie tylko) zadał pytanie czy to nie jest to ,,razem z podobnymi sobie”, gdzie gimnazja stają się elementem coraz silniejszej selekcji (czy ja już pisałem o egzaminach ze szlaczków do prywatnych podstawówek?). Używając barwnych określeń typu ,,grodzone szkoły” wskazał bardzo jasno poważny problem do rozwiązania, czy chcemy mieszanych czy homogenicznych szkół (zarówno w wymiarze umiejętności uczniów jak i zamożności rodziców).

dr Jacek Strzemieczny wskazał inny potencjalny problem: zadowolenie z rosnącego poziomu twardych umiejętności przesłania nam obraz spadających kompetencji społecznych i coraz niższej aktywności społecznej młodych [mierzonej np. przez udział w wyborach]. Niestety umknęło mi, na jakie badania tych kompetencji się powoływał [może ktoś zna literaturę w tym temacie?].

Dyrektor CNK Robert Firmhofer, używając metafory gimbusa, który nie porusza się już liniowo po ścieżkach wiedzy, powiedział, że młodzież nie chce siedzieć z tyłu tego gimbusa ale woli miejsca z przodu. A najlepiej to kierować tym gimbusem. Uczniowie chcą coś robić a nie tylko słuchać, chcą być aktywni, chcą szansy na bycie twórczym i edukacji opartej na współpracy i partnerstwie. Wyraził też obawę, że trudno to zrozumieć osobom projektującym teraz edukacje, które są z innego pokolenia.

Pan Marek Darecki [Dolina Lotnicza] zadał trudne pytanie, ja przejść z fazy sprawnej fabryki produkcyjnej do kreatywnego tworzenia technologii. W ogóle to podczas całej debaty zadano wiele pytań, były one spisywane i należy mieć nadzieję, że ktoś (najpewniej minister edukacji) się do nich odniesie.

Po panelu przyszedł czas na dyskusję, chętnych do dyskutowania było wielu, ale niestety czasu niewiele.
Z ciekawszych tematów w twitterowym skrócie: ,,kreatywność – innowacyjność, puste słowa, inwestujmy w edukacje to coś konkretnego”, ,,edukacja – zacznij od siebie”, zamiast reformować całe szkolnictwo na wysokim poziomie popracujmy lokalnie, na początek zaczynając od ludzkiego podejścia do młodych ludzi. ,,potrzebujemy debat: o integracji środowiska naukowego i nauczycielskiego, o edukacji na poziomie szkolnictwa wyższego, edukacji nieformalnej, edukacji kulturowej”.
Pojawiły się też zastrzeżenia, czy wysokie noty w twardych umiejętnościach nie są wynikiem morderczego treningu co skutkuje zwiększonymi problemami psychicznymi dzieci i brakiem czasu na kształtowanie charakterów (tu przykład Korei).

Jednym z ostatnich pytań było ,,Edukacja tak, ale dla kogo i po co?”. Pytanie trafione, ponieważ koncepcji na temat edukacji jest wiele ale brakuje jasnych deklaracji ,,zmierzamy w tym kierunku”.

W ciągu trzech miesięcy ma się pojawić raport podsumowujący całą debatę, z pewnością o nim napiszemy.

Co z tymi sześciolatkami?

W dyskusji n.t. edukacji sześciolatków jest dużo emocji, jeszcze więcej walki politycznej a niewiele badań opartych o dane. O ile sam wiek rozpoczęcia edukacji wydaje się być sprawą drugorzędną (we Francji edukację rozpoczynają czterolatki, w Korei ośmiolatki, w różnych krajach jest różnie), bardzo ważne jest przygotowanie szkół i nauczycieli do klas w którym jest większa rozpiętość wiekowa dzieci.

Pod koniec lipca trafił do mnie ten artykuł z Rzeczpospolitej. Wynikało z niego, że MEN poprosił CBOS o przeprowadzenie badania, na bazie którego można coś o sześciolatkach i siedmiolatkach powiedzieć. Są więc dane! Z artykułu wnikało, że wyniki z tych danych przedstawione zostały przez MEN wybiórczo, zniekształcając ogólny obraz (we wskazanym artykule ujęto to dosadniej). Mając jednak dostęp do danych można to sprawdzić!

Niestety pomimo dwukrotnej prośby nie udało mi się tych danych od MEN uzyskać a moją prośbę zignorowano. Tutaj moja wielka prośba do Was. Możecie pomóc mi uzyskać dostęp do tych danych klikając na poniższy link.
Kliknij tutaj, by wysłać maila z prośbą o udostępnienie danych.

Udało mi się jedynie dotrzeć do opracowania Instytutu Badań Edukacyjnych (link tutaj), w których są pewne (niestety nieliczne) podsumowania oryginalnych danych. Są miedzy innymi cztery tabele, które poniżej przedstawiam w postaci graficznej.

Dane są zbierane w skali Likerta. To znaczy, że rodzice dzieci, które poszły do pierwszej klasy szkoły podstawowej (zarówno w wieku sześć lat jak i siedem lat) mogli odpowiedzieć w skali ‘Zdecydowanie Tak’, ‘Tak’, ‘Trudno powiedzieć’, ‘Nie’, ‘Zdecydowanie Nie’ na różne pytania. Poniżej graficzne przedstawienie odpowiedzi na te pytania.

Na pytanie ‘Czy publiczna szkoła podstawowa położona najbliżej Pana(i) miejsca zamieszkania jest odpowiednio przygotowana do tego, by rozpoczynały w niej naukę dzieci sześcioletnie?’ zdecydowanie częściej ‘Tak’ mówią rodzice, którzy posłali tam dzieci (prawdopodobnie posłali, bo uważali, że jest przygotowana).

Na stwierdzenie ‘Moje dziecko początkowo chętnie uczestniczyło w zajęciach szkolnych, ale potem straciło entuzjazm’ większość rodziców odpowiada ‘Nie’, ale tych co odpowiadają ‘Tak’ jest zdecydowanie więcej wśród rodziców sześciolatków (wyniki testów są we wskazanym wcześniej raporcie).

Na stwierdzenie ‘Moje dziecko na ogół nudzi się na lekcjach’, częściej ‘Tak’ odpowiadają rodzice siedmiolatków.

Na stwierdzenie ‘Moje dziecko bardzo chętnie uczestniczy w zajęciach szkolnych’ obie grupy najczęściej odpowiadają ‘Tak’.

Z danych oryginalnych odczytać można pewnie znacznie więcej. Raz jeszcze proszę o pomoc w uzyskanie tych danych od MEN klikając na poniższy link i wysyłając maila z prośbą o udostępnienie danych.
Kliknij tutaj, by wysłać maila z prośbą o udostępnienie danych.

Czy i jak architektura może pomóc w edukacji?

Pracując w różnych miejscach i miastach miałem okazję prowadzić zajęcia w różnych nowo wybudowanych budynkach. Niektóre ładnie wykończone ale bardzo utrudniające prowadzenie zajęć. Typowe przykłady to szerokie korytarze ale małe sale. Dziwnie ustawione kolumny utrudniające obserwacje tablicy z pewnych ławek. Marna akustyka lub ,,tekturowe” ściany, tak, że studenci mają wybór czy chcą słuchać mnie czy prowadzącego z sąsiedniej sali.

Piszę o tym, ponieważ kilka dni temu poznałem osoby pracujące nad szalenie ciekawym projektem: badaniem czy i jak architektura wpływa na uczenie się.

Pomijając oczywiste względy, jest to też dla statystyka problem szalenie interesujący metodologicznie. Co można mierzyć w architekturze i co ma sens mierzyć jeżeli chodzi o efekty uczenia? Przecież nie ma sensu szukać (ko)relacji pomiędzy ceną budynku a średnią wyników, lub pomiędzy liczbą czy powierzchnią okien. Lub porównywać analizą wariancji wyniki szkół o różnej liczbie pięter.

Więc co mierzyć by dało się z tego badania wyciągać sensowne propozycje i rekomendacje dla architektów?

Grupa o której piszę jeszcze nie wie, jak będzie wiedzieć i mi powie to pewnie o tym napiszę. Na razie mają na ścianach wydrukowane setki zdjęć różnych szkół wyższych i niższych, przedszkoli i innych przestrzeni w których dochodzi do ,,uczenia się” [w Meksyku kościoły w których wystawia się telewizory by dzieci mogły przez Internet porozmawiać z nauczycielem, w niektórych krajach afrykańskich polany z ławkami]. Architekci i statystycy patrzą na te zdjęcia i dumają.

Część z tych zdjęć można znaleźć w raporcie ,,Designing for Education” OECD (skrót tutaj).

Poniżej zdjęcia moim zdaniem najciekawszego projektu zrealizowanego w Japonii (zresztą wygrał on jakiś konkurs).

Przedszkole dla ponad 600 dzieci. Budynek w kształcie owalnym z placem zabaw w środku szkoły oraz drugim placem zabaw na dachu. Dzieci po dachu mogą oczywiście biegać w kółko (proste a genialne do zabawy w berka). Przez świetliki z dachu mogą podglądać co się dzieje w środku. W szkołę są wrośnięte drzewa, przebijają one dach budynku i można po nich się wspinać (oczywiście).

Jak dokładnie mierzyć wpływ tego budynku na edukacje dzieci nie jest jasne. Ale ponoć dzieci bardzo chętnie do tego przedszkola chodzą (w co łatwo uwierzyć).

Btw: jeden z pomysłów to ,,śledzenie” zachowania dzieci przez ,,przyczepiania” im małych odbiorników np. GPS. Dzięki temu można badać gdzie dzieci spędzają czas, czy dużo się ruszają, gdzie się dużo ruszają itp.

Not everything that counts is countable, and not everything that’s countable counts.

Ostatnio natknąłem się na tytułowy cytat i aby go zapamiętać musiałem go gdzieś zapisać. A gdzie lepiej zapisać niż w tytule pisanego wpisu?

Dzisiaj będzie o raporcie ,,Bilans Kompetencji…”, który został opracowany na zlecenie Urzędu Miasta Krakowa w tym roku. Będzie oczywiście wykres, trochę narzekań, a na koniec napiszę trochę o własnych doświadczeniach dotyczących edukacji wyższej. Ponieważ część czytelników bloga to osoby związane z uczelniami (studenci, doktoranci, pracownicy), więc może urodzi się z tego ciekawa dyskusja?

Czytaj dalej Not everything that counts is countable, and not everything that’s countable counts.