Ostatnio wiele się mówi o wynikach z badania PISA 2012. Polscy uczniowie wypadli w tym badaniu bardo dobrze, można te wyniki wykorzystać w budowaniu marki Polski jako kraju ludzi wyedukowanych. Dla gospodarki to spora szansa – pozostaje mieć nadzieję, że będzie wykorzystana. Największe wrażenie robi tempo poprawy wyników przez naszych uczniów. Poniżej chciałbym napisać o wynikach, które nie znalazły się w raportach OECD, ale z punktu widzenia naszego kraju są bardzo ciekawe:
Wielkość miasta
Zobaczmy jak wyglądają wyniki uczniów w dużych miastach, średnich miastach i małych miasteczkach. W większości krajów uczniowie z większych miast mają lepsze wyniki. Składa się na to wiele czynników, między innymi dzieci w dużych miastach to częściej dzieci biznesmenów i specjalistów – osób zamożniejszych mających większy dostęp do zasobów edukacyjnych. W większych miastach jest też organizowanych więcej inicjatyw edukacyjnych.
Powyższy wykres przedstawia promil rozwiązanych zadań przez różne grupy uczniów. W tym przypadku te grupy odpowiadają wielkości miasta w którym zlokalizowana jest szkoła – czy to wioska, małe, średnie czy duże miasto. Każdy wiersz odpowiada grupie uczniów ze szkół zlokalizowanych w mieście o danej wielkości.
Każda szara kropka to jeden kraj, czerwona kropka to pozycja Polski. Dzięki temu możemy zobaczyć jak wygląda pozycja Polski względem innych krajów w danej wielkości miasta. Czerwony prostokąt pośrodku oznacza 50% krajów o najbardziej średnich wynikach, dzięki temu łatwiej się zorientować, czy Polska jest w górnym kwartylu, czy bliżej środka rozkładu.
Po prawej stronie zaznaczono pozycje Polski w rankingu, biorąc pod uwagę tylko daną kategorię wielkości miasta. Dla dużych miast, zamieszkałych przez ponad milion mieszkańców (w Polsce to tylko Warszawa) zajmujemy drugie miejsce na 33 kraje, w przypadku średnich miast – piąte miejsce na 41 krajów itp. Nie wszystkie kraje z badania PISA mają bardzo duże lub bardzo małe miasta, dlatego liczba krajów w rankingu jest różna w różnych wierszach. W tym podsumowaniu uwzględniono tylko kraje biorące udział w PISA 2003 i PISA 2012, a więc 44 kraje z 69 krajów które brały udział w PISA 2012.
Co widzimy? 15-latki z Warszawy mają wyniki znacznie lepsze niż 15-latki z innych ponad milionowych miast. Rozwiązali oni średnio 65% zadań z matematyki (* to ważona średnia, patrz wyjaśnienie na końcu wpisu). W mniejszych miastach ten wskaźnik wynosi około 50% rozwiązanych zadań. Średnio 15-latkowie z Polski osiągnęli bardzo dobre wyniki, a im większe miasto tym ta średnia jest (względnie) wyższa.
Powyższy wykres prezentuje wyniki dla czytania ze zrozumieniem i nauk przyrodniczych. Co ciekawe w czytaniu i przyrodzie uczniowie z Warszawy mają pierwsze miejsce w kategorii dużych miast (pierwsze na 33 kraje, tu nie ma wszystkich 69 krajów z PISA 2012). Na górze wykresu przedstawione są „gap size” – wielkości różnic w wynikach pomiędzy uczniami z dużych i małych miast. W Polsce te różnice są duże.
Wyniki a poziom edukacji rodziców
Edukacja rodziców jest przedstawiona w skali ISCED, gdzie ISCED 1 – wykształcenie podstawowe a ISCED 5 – wykształcenie wyższe, ISCED 6 – stopień doktora.
Jak widzimy dzieci rodziców o wyższym wykształceniu mają średnio wyższe wyniki. Ten „bonus” w przypadku Polski jest większy niż w innych krajach. Przy okazji można zauważyć jak te rankingi ujawniają trudności w porównywaniu wyników. Patrząc na rezultaty dzieci przez pryzmat edukacji rodziców, Polska wypada na pozycjach 7./12./15., czyli niżej, niż gdy dzieliliśmy je ze względu na wielkość miasta. Wynika to z różnych udziałów dużych i małych miast w różnych krajach.
Wyniki a płeć uczniów
Na wyniki można spojrzeć przez pryzmat podgrup określonych przez płeć. Co ciekawe, dziewczyny są w wyższym centylu, gdy porównywać je z dziewczynami z innych krajów. Bardzo pozytywny jest niski „gender gap” w przyrodzie i matematyce. O ile przewaga dziewczyn w czytaniu ze zrozumieniem jest „regułą” w każdym kraju, o tyle stereotypowe postrzeganie chłopców jako lepszych z matematyki jest prawdziwe tylko w niektórych krajach. W Polsce ta różnica jest (średnio) mała.
* Z uwagi na sposób losowania uczniów do badania PISA, struktura uczniów w badaniu może być inna niż struktura uczniów w kraju. Aby uwzględnić te różnice, każdy uczeń ma wagę opisującą na ile jest on reprezentatywny dla całej populacji. Wszelkie średnie i frakcje są liczone z uwzględnieniem tych wag.
@ostatni diagram
„Bardzo pozytywny jest niski „gender gap” w przyrodzie i czytaniu ze zrozumieniem.”
Z wykresu wynika, że mały „gender gap” jest w przyrodzie i matematyce.
@q, słusznie, dziękuję, poprawiłem
Fajne dane. Spodziewałbym się trendu w wynikach w zależnośći od wielkości miasta, ale wygląda na to, że Warszawa ma naprawdę ogromną „przewagę” nad resztą kraju. Nawet nie chodzi mi tu o różnicę w pozycjach w rankingu, ale raczej różnicę w bezwzględnych wynikach testów.
Swoją drogą, czy te zadania z PISA są raczej łatwe, czy raczej trudne? Rozumiem, że nie jest to poziom olimpiady, ale z ciekawości, można je gdzieś zobaczyć?
Warszawa jest z wielu powodów specyficzna, samorząd dużo inwestuje w edukacje, szkoły współpracują z uczelniami, stolica przyciąga specjalistów o średnio wyższym wykształceniu i środkach itp.
Co do zadań, są i trudne (rozwiązywane przez 10% uczniów) i łatwe (rozwiązywane przez 80% uczniów) po to by dało się uzyskać dobrą ,,rozdzielczość” dla różnych krajów.
Przykładowe zadania są tutaj http://pisa-sq.acer.edu.au/. Część z nich to zadania wycofane z dalszego użycia. Są też zadania które będą wykorzystywane w kolejnych edycjach tak by kalibrować modele, ale te są bardzo bardzo tajne.
Czy są trudne? Aż kusi by sprawdzić na studentach matematyki.
Jak należy rozumieć „promil rozwiązanych zadań”? Czy np. wartość 550 oznacza, że średnio w danej grupie rozwiązano 55% zadań? Czyli np. jeśli mamy dwóch uczniów (o takich samych wagach), jeden rozwiązał 10%, a drugi 100%, to promil wyniesie 550?
@tomek, krotka odpowiedź brzmi: tak.
Z technicznych powodów prawdziwe liczenie tego promila jest trochę bardziej złożone. ,,Słabsze” kraje poprosiły o łatwiejsze zestawy pytań, co trzeba uwzględnić licząc te promile. Liczba wystąpień poszczególnych zadań w różnych krajach mogła się różnić, to też trzeba było uwzględnić. W przypadku niektórych zadań można było otrzymać ,,częściowe” punkty, ale upraszczając te wszystkie trudności o promilach można myśleć jak o średniej liczbie poprawnie rozwiązanych zadań. Używam promili zamiast procentów ponieważ wartości ,,lepiej” wyglądają na szerszej skali.
Co do studentów rozwiązujących 100% zadań,
Z ponad 500 000 wszystkich uczniów biorących udział w badaniu PISA 2012 było tylko kilkunastu [o ile pamiętam trzynastu ale może się o kilka osób mylę], którzy rozwiązali poprawnie wszystkie kilkadziesiąt zadań, które otrzymali.
Biorąc pod uwagę, że większość z tych kilkunastu uczniów trafiła na łatwiejsze zestawy,
w przypadku trudnego zestawu nie więcej niż jeden na 100 000 uczniów rozwiązał go w 100% poprawnie w czasie 2 godzin.
Dziękuję. To naprawdę złożone badanie.
„Wyniki a poziom edukacji rodziców” – nie potrafię intuicyjnie zrozumieć, co się dzieje na tym wykresie. Popatrzmy na matematykę. Dla poszczególnych grup wykształcenia Polska jest blisko skraju „czerwonego pudełka”. Natomiast na wykresie ogólnego „gap between grous” Polska ląduje bardzo daleko poza skrajem tego pudełka. Jak to możliwe, że w poszczególnych grupach pozycja Polski jest prawie przeciętna, a w grupie zbiorczej tak bardzo odstająca?
W innych przedmiotach tak się nie dzieje.
@anuszka, w przypadku matematyki, pozycja polskich uczniów, których rodzice mają niskie wykształcenie to 15 na 44 kraje, dla uczniów rodziców o wyższym wykształceniu to 7 na 44. W obu grupach są to okolice górnego 25 centyla [koniec pudełka] ale raz to 34 centyl a raz 16 centyl.
Gdy przyjrzeć się na ,,bonus”, który otrzymują dzieci rodziców o wyższym wykształceniu to różnica pomiędzy 15/44 a 7/44 jest bardzo wysoka.
W innych krajach wyniki uczniów, których rodzice mają niższe wykształcenie a tych o wyższym wykształceniu są bardziej zbliżone. Nie są równe ale ten ,,gap size” jest mniejszy.
Moja osobista hipoteza jest taka, że dzieci w Polsce mają wiele szans edukacyjnych które nie są całkowicie wykorzystywane. Bardziej wyedukowani rodzice wykorzystują te szanse, może dlatego, że doceniają rolę edukacji. Ale ten akapit to osobista hipoteza, skąd się biorą takie spore nierówności – otwarty problem.
> Bardzo pozytywny jest niski „gender gap” w przyrodzie i matematyce.
Jak chłopcy mają wyższe wyniki w nauce niż dziewczyny, to to jest gender gap, który trzeba redukować (niekoniecznie tożsame ze zwiększaniem osiągu obu płci). Gdy zaś w czytaniu jest różnica 5-10x większa (sic!), to to jest już taka „reguła”, że dziewczyny lepiej sobie w tym radzą.
@Piotr, traktowanie tego ,,gender gap” niesymetrycznie wygląda zaskakująco.
Ten brak symetrii wynika trochę stąd, że postrzeganie dziewczyn jako gorszych w matematyce powoduje utrudnienia dla nich na pewnych ścieżkach kariery, np. inżynierskich, informatycznych, naukach ścisłych itp.
To, że chłopcy są średnio słabsi w czytaniu ze zrozumieniem raczej żadnych ścieżek kariery im nie zamyka (a może zamyka? nie wiem), więc stereotypowe uznawanie chłopców z gorszych w czytaniu i pisaniu ze zrozumieniem nie jest w tym przypadku groźne. A wręcz wielu dorosłych chłopców wykorzystuje to jako usprawiedliwienie dla nieskładnego pisania.
Fakt faktem, że rozpiętość różnic pomiędzy wynikami płci jest nawet większa dla czytania niż dla matematyki. Co sugeruje, że wielkość tych różnic w wielu krajów można by zmniejszyć nawet łatwiej niż różnic w matematyce.
@smarterpoland
To czy brak czytania ze zrozumieniem kariery nie zamyka – nie byłbym taki pewien.
Oprócz bycia dziennikarzem (acz do tego nie zawsze jest potrzebne ;), niestety) to się to może przydawać w wielu zawodach.
Przy czym tu nie postuluję zmniejszenia różnicy – chodzi raczej, że przyjęcie jako dogmat, że wszystkie „gapy” trzeba redukować nie uważam za najlepszy. Tj. część różnych różnic wynika z nierównego dostępu do możliwości, z racji miejsca zamieszkania, sytuacji finansowej czy też zaangażowaniu rodziców, stereotypów itd;
acz wydaje się, że ludzie mają różne uzdolnienia*), różne osobiste preferencje i nieraz warto byłoby bardziej/też pomyśleć o pielęgnacji uzdolnień nie tylko łataniu słabości. I to z kilku powodów:
– nieraz łatwiej się roziwjać w stronę, w którą się ma personalne predyspozycje,
– ogólnie wolałbym żyć w społeczeństwie, gdzie ludzie rozwijają swoje talenty, a nie każdy „wystandaryzowanym produktem”, dosypanym tam gdzie brakowało, przyciętym tam, gdzie się wybijał.
To, że różne grupy społeczne _średnio_ mogą mieć inne wyniki (i, popraw jeśli się mylę), owe różnice średnich są zwykle dużo mniejsze niż wariancje wewnątrz grupy.
(Acz może jestem uprzedzony z powodu osobistych doświadczeń, bo pamiętam, że w odstawówce kluczowe słowo „równamy poziom” oznaczało „równamy poziom w dół”; w sumie bo inaczej ciężko.)
*) Szczerze powiedziawszy mało znam osób, dla których wszystkie rzeczy przychodzą równie łatwo (lub trudno).
BTW: Co do różnych gapów, czy są znane rozbicia ich na składowe?
(Zwłaszcza, że dane są z różnych krajów i powinno być rozbicie też ze względu na system szkolnictwa i nastawienie kulturowe.)
By zatrzymać się przy przykładzie czy da się oszacować w jakim stopniu mniejsze umiejętności czytania ze zrozumieniem o chłopców są wynikiem ogólnym kulturowym, w jakim biologicznym, w jakim – innego (?) podejścia do chłopców w szkole?
@Piotr,
Ja jestem przekonany, że czytanie ze zrozumieniem podobnie jak matematyka to kluczowe umiejętności.
Jeżeli brak tych umiejętności zamyka karierę to nie jest źle,
gorzej gdy to stereotypy a nie faktyczny poziom umiejętności zamyka jakąś ścieżkę kariery.
Nie wiem jak zatrudnia się dziennikarzy, ale nie słyszałem o przypadku, że ktoś nie dostał pracy dziennikarza bo jest mężczyzną 😉
Redukcja każdego ,,gapu” nie ma sensu, tak jak pisałeś nie ma sensu redukować różnicy wyników pomiędzy tymi co chcą się uczyć matematyki a tymi co nie chcą.
Ale jeżeli jesteśmy zwolennikami polityki równych szans to warto mieć narzędzia do mierzenia czy rzeczywiście polityka równych szans jest realizowana.
Co do porównywania systemów szkolnictwa. Nie słyszałem o dwóch państwach, które miałyby identyczne systemy edukacyjne, co czyni wszelkie porównania podatnymi na znaczne uproszczenia.
Rozbicie umiejętności na składowe ,,szkoła”, ,,dom”, ,,państwo” i inne jest oczywiście ono robione bo to modny temat, ale jestem bardzo sceptyczny co do aktualnych wyników.
Model zawsze coś policzy, ale nie zawsze w modelu są wszystkie zmienne pozwalające na rzetelną analizę.
Rozstrzygające wyniki przyniósłby zrandomizowany eksperyment, ale to by było nieludzkie.
Lepszy model?
Tak to jest ciekawy kierunek, mnie te dane bardzo ciekawią więc mam nadzieję, że uda mi się w ICM zbudować zespół pracujący na tych danych.
@smarterpoland
Stereotypy są, w pewnym sensie, oddzielnym problemem, niż rzeczywiste wyniki.
Często zresztą polegają na nierozumieniu statystyki (np. to że średnia między grupami jest różna nie oznacza, że w praktyce ją widać na poziomie jednostek; lub, że jak ktoś aplikuje do pracy w X, to rzadko jest losową próbką z populacji).
Plus wzięte z naleciałości historycznych czy kulturowych.
Ja jestem zdecydowanie zwolennikiem równych szans, ale zarazem zdecydowanie przeciw polityce zakładającej równe osiągnięcia. (Prosty sposób, by dostawać cięgi zarówno z prawej, jak i lewej. ;))
A odgórne założenie, że wyniki muszą być równe może prowadzić, i wielokrotnie prowadziło, do złych konsekwencji (i dla jednostek, i dla społeczeństwa). W najprostszym przykładzie https://en.wikipedia.org/wiki/Numerus_clausus (gdzie zwykle quota była właśnie % Żydów w danym państwie).
I coś, co w niektórych przypadkach może być „smoking gun” dyskryminacji, w innych może być przypadkiem nawet skrajnej różnicy, ale pozytywnej. Przykład (w dwie strony, zresztą) w długim ale wartym lektury artykule http://www.theamericanconservative.com/articles/the-myth-of-american-meritocracy/.
Co do czynników – w sumie ciężko powiedzieć jak odróżnić. Narzuca się raczej analiza czynnikowa niż z góry zakładanie co wpływa. (Rozumiem, że z PISA to cała masa speców rzuciała się z PCA na wszystko co się da…)
Nie wiem, czy warto się tu powoływać na The Freakonomist (Rozdział 5), ale tam (biorąc pod uwagę wyłącznie czynniki w domu) większą rolę grało tym kim są rodzice (np. mają dużo książek), niż jak świadomie wpływają na rozwój dziecka (czytają dziecku).
Problem z rozróżnieniem efektu domu, szkoły i państwa nie jest związany jedynie z brakiem narzędzi, najczęściej używa się modeli liniowych lub modeli SEM.
Dużym, jeżeli nie największym problemem jest to, że nie wiadomo co mierzyć.
Liczba książek w domu najsilniej koreluje z wynikami. Kuszącym (szczególnie dla oczytanych rodziców) wnioskiem jest to że to oczytani rodzice stymulują dziecko. Wnioskiem, który trudno wykorzystać ale jest bliższym prawdzie jest to, że 15-letnie dziecko spowodowało, że w domu pojawiły się książki, ponieważ lubiło je czytać.
Kolejny ciekawy problem to problem percepcji.
Okazuje się, że na pytanie czy w domu jest poezja dzieci niezainteresowane książkami mówią częściej że nie ma, a dzieci zainteresowane poezją mówią że jest ponieważ ją czytały.
Czyli odpowiedź w ankiecie, że w domu nie ma wielu książek lub nie ma poezji może oznaczać wyłącznie tyle, że dziecko niezainteresowane czytaniem, książek nie zauważa.
Tak czy inaczej, myślę że to bardzo ciekawe pole do badań.
@Piotr, jeszcze w sprawie stereotypów, ilustracją jak ważny to temat są dla mnie wyniki pokazujące, jak motywacja wpływa na osiągane wyniki.
Eksperymenty w których losowo powiedziano dzieciom, że sobie dobrze/słabo radzą i te losowe pochwały/nagany w krótkim terminie stały się samospełniającą przepowiednią. Chwalone dzieci miały wyższe wyniki.
Tematów sporo, ale są dane i można tę dyskusję przenieść na poziom kopania w danych i szukania odpowiedzi w danych.
Może podczas Offtopicarium?
@smarterpoland
To co niektórym się wydaje dziwne, że dziewczyny inaczej piszą egzamin w zależności od zasianego stereotypu (np. że są dzewczynami, albo – że są Azjatkami), wydaje się raczej domyślne w przypadku jakichkolwiek działąń związanych z motywowaniem ludzi. I tak, to może być samospełniająca się przepowiednia.
(I w książkach motywacyjnych często jest, albo i być musi, sporo motywacyjnych kłamstw, tupy „jesteś nalpeszy/a”, „możesz wszystko”, itd. I to działa (tj. o ile ktoś zwykle nie staje się najlepszy, to b. często sporo się rozwija).
Mimo, że sam staram się być ultra-racjonalny, to też tak mam. I też z projektami – ciężko zacząć poważny projekt nie _przeceniając_ swoich możliwości.)
Przy czym, jak pewnie zawsze, w naukach związanych ze społeczeństwem, mam mieszanie uczucia, gdy w badaniach „wiadomo” jaki jest „dobry” wynik (nawet jeśli społeczna porządaność wyniku jest z grubsza konsensusem).
Tak, chętenie porozmawiam na Offtopicarium. (BTW: Rok temu był ciekawy talk na temat stereotypów, i (m.in.) jak niewielkie różnice są wyolbrzymiane. http://offtopicarium.wdfiles.com/local–files/v2:program/beauty.pdf (szkoda, że slajdy bez tekstu))
Problem badań w których z góry wiadomo jaki wynik chce się uzyskać (a nie hipotezę zweryfikować) dotyczy nie tylko nauk społecznych.
Oby większa dostępność danych, narzędzie do ich analizy i ludzi potrafiących dane analizować zredukowała ten problem.
Panie Przemku. Bardzo dziękuję za wspaniałe wnioski.
Ciekawi mnie bardzo, a może Pan zna odpowiedź. Które miasto powyżej 1 mln mieszkańców wyprzedziło Warszawę w matematyce? Nie były to „tradycyjne” miasta-państwa jak Szanghaj, Hong-Kong czy Singapur – bo wyniki tych państw były niższe.
Odczytuję że wynik Warszawy to około 655. Zgadza się to?
Pięknie i z góry dziękuję za odpowiedź.
Już nie pamiętam, ale sprawdzę jak wrócę do Warszawy.
W Reading i Science W-wa była na pierwszym miejscu.
Wszystkim malkontentom należy pokazać ostatniego TED’a Hansa Roslinga
http://www.ted.com/talks/hans_and_ola_rosling_how_not_to_be_ignorant_about_the_world
Panie Przemku, udało się może Panu dotrzeć do informacji, o które pytałem? Pytam ponownie bo podejrzewam że wyleciało z głowy 🙂 Z góry naprawdę pięknie dziękuję.
Z dumą muszę stwierdzić że odpowiedziałem dosyć poprawnie na pytania Hansa Roslinga na TEDzie. Ale wcale nie dziwi mnie że populacja jako taka „gubi” gdzieś pojęcie większości. To jeden z powodów, dla których media nie specjalnie sprawdzają się jako czwarta władza (choć są potrzebne) a dla działań legislacyjnych działają wręcz destruktywnie. Urzędnicy piszący przepisy opierają się często na tym co słyszą w mediach, a nie na solidnych badaniach ilościowych.
Dziękuję za przypomnienie.
Mam teraz dane dla większej liczby regionów (dla Large City są już dane dla 47 regionów zamiast 33 jak w powyższym wpisie), w tej grupie warszawa (czy też polskie miasta powyżej 1 m mieszkańców ;-)) jest na trzecim miejscu jeżeli chodzi o matematykę, pierwszym jeżeli chodzi o czytanie i pierwszym jeżeli chodzi o przyrodę.
Dokładne dane liczbowe to (posortowane po matematyce):
CNT SC03Q01 matematyka czytanie przyroda
1 China-Shanghai Large City 611.6589 568.3116 579.0373
2 Chinese Taipei Large City 591.4023 548.0523 546.7686
3 Poland Large City 582.1842 575.8965 580.4898
4 Singapore Large City 574.2386 542.3960 551.9904
5 Hong Kong-China Large City 561.4155 544.9349 555.2780
6 Japan Large City 558.2980 556.1004 567.1680
7 Korea Large City 557.3870 535.0256 538.3457
8 Vietnam Large City 546.9949 548.3312 550.0492
W R można te dane uzyskać pisząc dziesięć linijek kodu:
library(dplyr)
library(PISA2012lite)
ss2012 %
group_by(CNT, SC03Q01) %>%
summarise(matematyka = weighted.mean(PV1MATH, W_FSTUWT, na.rm=TRUE),
czytanie = weighted.mean(PV1READ, W_FSTUWT, na.rm=TRUE),
przyroda = weighted.mean(PV1SCIE, W_FSTUWT, na.rm=TRUE)) %>%
filter(SC03Q01 == „Large City”) %>%
arrange(-matematyka)
Mam nadzieję, że się przyda.
Aaaaa, jeszcze wyjaśnienie.
Te średnie, które podałem w komentarzu powyżej to średnie z wyników PISA z raportów (zmienna PV1MATH),
(dlatego są dla 47 krajów)
Dane na wykresach we wpisie to promil rozwiązanych zadań, coś podobnego, ale nie raportowane oficjalnie przez PISA.
Dlatego na wykresie mamy około 625 promili rozwiązanych zadań z matematyki ale średnia PISA to dla warszawy 582.
W każdym razie obie miary są w innych jednostkach choć tej samej skali (0-1000).
Obie są dla warszawskich uczniów łaskawe.
Pięknie dziękuję!
Ciekawe jak duża próba uczniów i szkół w badaniu była z Warszawy.
Ja nie jestem sceptykiem, a w werdykty badania PISA wierzę niemal ślepo, ale aż tak dobre wyniki, szczególnie z czytania ze zrozumieniem i z przyrody, każą się zastanowić czy przypadkiem akurat dla Warszawy się jakoś „krzywo” nie wylosowało (wiem że brzmi to jak statystyczna herezja).
25% uczniów w Warszawie uczęszcza do szkół niepublicznych, które od zawsze miały w państwowych egzaminach znacznie, znacznie lepsze wyniki. Jeżeli próba PISA wylosowana z Warszawy byłaby nieduża, to mogłoby się przez przypadek tak zdarzyć, że trafiłoby na te niepubliczne placówki.
Nie znam wystarczająco zasad konstrukcji losowania PISA żeby wiedzieć czy badacze przeciwdziałają takim przypadkom (np. określając szkołę publiczną i niepubliczną jako parametr losowania lub przypisując szkołom niepublicznym jakieś odpowiednie wagi).
Jedna sprawa to zaobserwować, że warszawscy uczniowie średnio mają wysokie wyniki, druga sprawa to wyjaśnić dlaczego (może więcej korepetycji, może centrum kopernik, może więcej szkół prywatnych).
Ciekawie będzie zobaczyć co wyjdzie w PISA 2015.