[update: jak słusznie napisał Tomek, chodzi o PWE a nie EWD, poniższy tekst został uaktualniony]
Mniej więcej miesiąc temu Wysokie Obcasy miały wkładkę poświęconą badaniom edukacyjnym. Przedstawiano między innymi Porównywalne Wyniki Egzaminacyjne, a tekst opracował o ile pamiętam Instytut Badań Edukacyjnych. Jeden z wykresów szczególnie przykuł moją uwagę. Gdyby usunąć z niego część informacji to byłby świetną zagadką/materiałem do dyskusji. Więc zadajmy tę zagadkę!
PWE (Porównywalne Wyniki Egzaminacyjne) to współczynnik, który w założeniu ma normalizować trudność egzaminów w różnych latach. Za rok bazowy przyjęto 2012 i wszystkie wyniki znormalizowano tak by średnia w roku 2012 wynosiła 100. Współczynnik ma rozkład w przybliżeniu normalny, wycentrowany tak by mieć średnią 100 i odchylenie standardowe 15 w roku 2012. Mając tak wyznaczone współczynniki można porównywać średnie PWE np. pomiędzy latami, można też na tej samej skali trudności porównywać powiaty czy województwa.
Z poniższego wykresu usunąłem informację o kolorach (jest ona praktycznie zbędna). Zagadka: co na podstawie tego wykresu można powiedzieć o wynikach przedstawionej szkoły (a powiedzieć można naprawdę wiele).
Jest to przypdkiem wykres ze Szkołomatu? (http://szkolomat.pl/)
Np. http://szkolomat.pl/s/19617 -> wyniki edukacyjne
Zgodnie z opisem na blogu jest to wykres z WO, ale coraz więcej miejsc wykorzystuje EWD.
W zakładce 'Dane’ szkołomatu jest napisane, że używają EWD, a na liście partnerów jest IBE, więc korzenie są wspólne.
Według opisu kolor szkoły to niebieski, zgadza się wariancja. Zakładam, że do tekstu wkradł się błąd. Zakładając wykres trendu z przedziałem szerokości dwóch odchyleń standardowych, odchylenie standardowe równe 15 pomalowałoby większość wykresu i trudno by mówić o różnicach w sensie statystycznym. Bez wskazówki również warto obstawiać, że szkole odpowiada niebieski, gdyż powiat ma więcej danych i stąd cieńszy przedział.
Wyniki szkoły i powiatu podlegają ogólnemu trendowi w edukacji lub dotyczącego wyłącznie danego rejonu. Mam na myśli tendencję spadkową i odbicie w 2011 roku następnie z dwoma latami wzrostu współczynnika. Interesująca kwestia to rok 2009, z dużymi zmianami w powiecie, bez odzwierciedlenia w szkole. Być może to kwestia losowości procesu.
Jedynie rok 2013 możemy podejrzewać o istotną statystycznie różnicę w EWD, ale po odłożeniu dwóch sigm zamiast jednej psuje się mocno ink-to-data ratio i trudno o sensowną analizę porównawczą. Jak dla mnie, pozostaje jedynie odnotowanie globalnego trendu w edukacji, werbalny opis wykresu, bez daleko idących wniosków. Chyba, że się mylę.
Nieźle, odchylenie standardowe 15 dotyczy jednego ucznia, jeżeli na wykresie są odchylenia standardowe gminy i szkoły to można wręcz oszacować ilu uczniów było w gminie i szkole 😉
Przemku, to jest wykres PWE, a nie EWD.
Tomku, bardzo dziękuję za sprostowanie! Na stronach PWE jest nawet ten wykres opisany http://pwe.ibe.edu.pl/.
EWD już tak zapadło w moim umyśle głęboko, że wszędzie je widzę. Czas nauczyć się nowego współczynnika.
Btw: z opisu na stronie nie jest jasne czy PWE jest normalizowana by mieć sd 15 w roku 2012. Wynikałoby to z omówienia wykresów ale czy mógłbyś potwierdzić?
I w temacie zagadki, moim zdaniem z wykresu można odczytać po kolei:
– który kolor to powiat, który to gimnazjum
– znając sd osobnika i odczytując sd z wykresu (przedstawiono przedział ufności, czyli mniej więcej 2 x sd) można szacować jak duży jest powiat i jak duża jest szkoła
– w którym roku wyniki były najsłabsze i kiedy (i czy) istotnie się zmieniły (i dla powiatu i gimnazjum)
– na ile wyniki z gimnazjum odbiegają od wyników w powiecie.
Przemku, co do odchylenia standardowego, to tak jak piszesz (zgodnie z opisem „Jak odczytywać wykresy?” na stronie PWE), zostało ono ustalone na 15 w 2002 r. W innych latach, bywa ono nieco mniejsze lub nieco większe (w odróżnieniu od skali wyników EWD, w PWE możemy porównywać zróżnicowanie wyników między latami), ale generalnie te różnice są niewielkie.
(Odpowiadam z opóźnieniem, bo byłem na urlopie.)
Dzięki!