Jak zmieniało się poparcie przed wyborami prezydenckimi 2015?

Pięć dni temu zorganizowaliśmy konkurs, na zebranie danych z sondaży przed wyborami prezydenckimi 2015. Dzięki Bartoszowi S. i Łukaszowi W. (wędrują do Was wejściówki na ZIP) mamy zebrane wyniki z kilkudziesięciu sondaży. Poniższa aplikacja pozwala na eksplorację tych wyników.

Czytaj dalej Jak zmieniało się poparcie przed wyborami prezydenckimi 2015?

Spark + R = SparkR

spark-project-header1
Spark podbija coraz więcej serc. Nic dziwnego, skoro z wielu stron płyną komentarze o znaczącym (o rząd wielkości) przyśpieszeniu czasu potrzebnego na analizę dużych zbiorów danych.
Mamy rozbudowany mechanizm składowania (cache) obiektów w pamięci, dzięki czemu wykonując iteracyjnie operacje na tych samych danych nie ma potrzeby katowania dysku.

Jak dla mnie pewną wadą tej platformy było to, że aplikacje w Sparku należało pisać w Java, Scala lub Pythonie. To bardzo fajne języki, ale używam wielu specjalistycznych narzędzi statystycznych dostępnych w programie R i nie chciałbym ich przepisywać na python a tym bardziej na Java.

Szczęśliwie jednak, powstał łącznik dla R, powalający na integracje R i Sparka. Takie połączenie zapączkowało ponad rok temu, zainicjował je Shivaram Venkataraman z Berkeley. Z czasem kilka innych osób dołączyło do rozwoju pakietu SparkR
http://amplab-extras.github.io/SparkR-pkg/.

Dziś podzielę się pierwszymi wrażeniami z używania tego pakietu.

Czytaj dalej Spark + R = SparkR

[Kultura] Raport kultura 50+

Reaktywujemy kolumnę kulturalną, prowadzoną przez Paulę C.

 

Stowarzyszenie ASK pyta: “Co z tą kulturą 50+?”

 

Rplot

Tematyką aktywności osób w wieku 50+ zajęło się Raciborskie Stowarzyszenie ASK w ramach projektu: “Co z tą kulturą 50+ (…)”. Badanie to pokazuje Polaków po pięćdziesiątym roku życia jako osoby ambitne, korzystające z oferowanych im możliwości i chcące podnosić jakość swojego życia, a także częściej i chętniej angażujące się społecznie.

Pierwsza część raportu stworzonego przez ASK miała charakter diagnostyczny, na jej podstawie wyłoniono dziesięć typów aktywności, które angażują osoby po 50 r. ż, drugą część stanowią wnioski z badań pogłębionych (realizowanych za pomocą wywiadów standaryzowanych oraz indywidualnych wywiadów pogłębionych).

 

Do omówionych szeroko w raporcie typów aktywności należą:

  1. Chóry, orkiestry, zespoły muzyczne
  2. Spotkania z artystami
  3. Zajęcia grup teatralnych i kabaretowych
  4. Wolontariat
  5. Wycieczki krajoznawcze
  6. Wykłady kulturalne
  7. Koła gospodyń wiejskich
  8. Zespoły ludowe
  9. Wyjazdy kulturalne
  10. Zajęcia rękodzielnicze

 

Z badania wynika, iż uczestnicy zajęć pozytywnie oceniają przygotowaną dla nich ofertę działań kulturalnych i społecznych, uważają, że zajęcia są dobrze przygotowane, prowadzone przez kompetentne osoby, a sama oferta działań jest szeroka i dobrze zorganizowana. Wśród badanych to kobiety stanowią głównych odbiorców oferowanych form aktywności. Według autorów raportu niewątpliwy wpływ ma na to czynnik demograficzny, ale i ogólne większe zainteresowanie kobiet działalnością non profit. W podziale na grupy wiekowe widocznym jest, że najwyższy stopień zaangażowania przejawiają osoby w wieku 60-70 lat, dzieje się tak głównie dlatego, że osoby młodsze zazwyczaj wciąż są aktywne zawodowo, a osobom powyżej 70 roku życia często stan zdrowia nie pozwala na aktywne korzystanie z zajęć. Nie zaskakuje również informacja, że sposób aktywności różni się w zależności od miejsca zamieszkania. Mieszkańcy miast częściej uczestniczą w zajęciach oferowanych przez Uniwersytety Trzeciego Wieku oraz działają w ramach wolontariatu, natomiast osoby zamieszkujące wieś chętniej decydują się na udział w zespołach ludowych bądź kołach gospodyń wiejskich.

Spośród wybranych sposobów aktywizacji osób 50+ na szczególną uwagę zasługuje aktywność związana z wyjazdami. W badaniu wydzielono wycieczki krajoznawcze oraz wyjazdy kulturalne. Wycieczki krajoznawcze należą do jednych z najpopularniejszych form spędzania wolnego czasu przez badane osoby. Wycieczki te organizowane są przez rożne instytucje: domy kultury, uniwersytety trzeciego wieku czy kluby seniorów. Oferta wyjazdów jest szeroka i dopasowana do możliwości uczestników, obejmuje zarówno krótsze, bliższe wyjazdy, jak i wycieczki zagraniczne. Przeróżny jest także ich zakres cenowy – od droższych wyjazdów, jak i takich, na które stać także mniej zamożnych emerytów. Wśród uczestników wyjazdów przeważają osoby młodsze (najbardziej licznie reprezentowana jest grupa osób w wieku 61-65 lat). Tak jak w przypadku większości z oferowanych form aktywności, wycieczki dają badanym możliwość rozwijania swoich pasji i zainteresowań, służą także nabywaniu nowej wiedzy i umiejętności. Aktywność ta ma także znaczenie towarzyskie, choć autorzy podkreślają, że dla badanych wycieczki stanowią przede wszystkim walor edukacyjny. Jak już wspomniano, zainteresowaniem cieszą się także wyjazdy o charakterze kulturalnym, według badaczy nie tylko pozwalają na kontakt z dobrami kultury czy umożliwiają obcowanie ze sztuką, ale także stwarzają okazję do aktywizacji i integracji społecznej. Wyjazdy te mogą mieć różny charakter, od wyjazdów do teatrów czy opery, po wyjazdy do okolicznych wsi np. na biesiady. Wyjazdy kulturalne mogą też służyć promowaniu własnej działalności czy lokalnych wyrobów.

Eksperci, z którymi przeprowadzano wywiady wskazywali na pewne trudności dotyczące włączania osób 50+ w wolontariat. Zauważają , że ważnym jest aby propozycja inicjatyw wolontariackich była dla osób 50+  interesująca i atrakcyjna, a  przyczyn niechęci seniorów do działalności tego typu upatrują w braku doświadczeń badanych związanych z tą aktywnością, a także brak wiedzy czym jest sam wolontariat. Mimo tego, oferta wolontariatu w badanych miejscowościach jest dosyć szeroka. W przypadku działań wolontariackich wyraźnie widać, że wielkość miejsca zamieszkania wpływa na częstotliwość angażowania się w wolontariat, co wynika zapewne z ilości inicjatyw opartych na działach wolontariackich, jakie są podejmowane w większych miejscowościach. Motywem podejmowania tego typu aktywności jest przede wszystkim chęć pomagania innym i związana z tym samorealizacja.

Kolejnym wyróżnionym sposobem zaspokajania potrzeb kulturalnych osób powyżej 50 r. ż są spotkania z artystami. Spotkania takie odbywają się zazwyczaj dzięki trwałej współpracy z instytucjami kultury bądź w ramach Uniwersytetów Trzeciego Wieku. W przypadku tej aktywności (jak i większości objętych badaniem)  kobiety stanowią głównych odbiorów. Pod względem zamieszkania zdecydowanie przeważają mieszkańcy dużych miast (powyżej 100 tysięcy mieszkańców). Wynika to z faktu, że właśnie w dużych miastach oferta działań tego typu jest najszersza. Badanie wykazało dość dużą regularność uczęszczania na takie spotkania, spora część osób zadeklarowała, że uczestniczy w większości bądź nawet wszystkich organizowanych spotkaniach. Badani traktują możliwość udziału w spotkaniach z artystami jako możliwość rozwijania swoich pasji i zainteresowań oraz deklaruję,  że dzięki temu mogą nabywać nową wiedzę oraz umiejętności.

Ciekawą formę aktywności stanowią również grupy teatralne i kabaretowe, działanie te wymagają od uczestników przede wszystkim odwagi, która umożliwi występy przed szerszą publicznością, ale także systematyczności. Zajęcia odbywają się na ogół raz lub dwa razy w tygodniu i trwają od dwóch do czterech godzin. Wśród badanych uczestniczących w tej aktywności dominują osoby ze średnim wykształceniem, nie było natomiast osób, które ukończyły edukację już na poziomie podstawowym. Autorzy raportu wysuwają wniosek, zgodnie z którym osoby lepiej wykształcone chetniej angażują się w tego typu zajęcia. Być może dlatego, że mają mniejsze opory przed występowaniem na scenie. Wśród uczestników występuje niewielki odsetek osób aktywnych zawodowo – wiąże się to z faktem, iż aktywność teatralna bądź kabaretowa wiąże się z koniecznością poświęcania jej sporej ilości czasu. Sami badani deklarują, że uczestniczą w zajęciach z dużą regularnością, zdecydowana większość stwierdziła, że bierze udział we wszystkich zajęciach. Regularność jest zazwyczaj wymogiem koniecznym aby móc wystąpić w spektaklu, co z pewnością stanowi dodatkową motywację do systematycznego uczestnictwa w zajęciach.

Ciekawą rolę pełnią także wykłady kulturalne, które przede wszystkim dostarczają  uczestnikom wiedzy oraz poszerzają horyzonty myślowe, ale stają się także okazją do spotkania z innymi, co wpływa na poszerzenie kręgów towarzyskich. Tematyka wykładów dotyczy kwestii związanych z życiem codziennym : zdrowia, prawa czy ekonomii, bądź ma charakter bardziej ogólny – związany z polityką, życiem społecznym lub kulturą i sztuką. Aktywność ta, tak jak i większość badanych aktywności, jest silnie sfeminizowana. Wśród uczestników jest też wiele osób z wykształceniem wyższym oraz średnim,  co wynika ze specyfiki zainteresowań osób lepiej wykształconych i poziomu ich kompetencji kulturowych. Udział w wykładach to dla uczestników przede wszystkim okazja do zdobycia nowej wiedzy i umiejętności, a także możliwość rozwoju. Autorzy raportu podkreślają, że udział w wykładach kulturalnych przyczynia się do realizacji zróżnicowanych potrzeb, wśród których na pierwszy plan wysuwają się potrzeby społeczne.

 

Wnioski te sformułowano na podstawie drugiego etapu badania „Diagnoza inicjatyw kulturalnych angażujących osoby powyżej 50 roku życia”. Badanie zostało przeprowadzone w okresie od połowy lipca do listopada 2013 roku na terenie województwa śląskiego. Zrealizowane zostało przez Raciborskie Stowarzyszenie Kulturalne ASK, 

 

Zachęcam do zapoznania się pełną treścią raportu i szczegółowym opisem wszystkich wyróżnionych aktywności: Raport “Diagnoza inicjatyw kulturalnych (…)”

 

PC

[Przegląd prasy] Polacy popierają głosowanie przez Internet

 

Wyniki badania przeprowadzonego przez CBOS wskazują, że łącznie 76% badanych popiera wprowadzenie możliwości głosowania w wyborach za pośrednictwem Internetu.

 

Więcej informacji na Portalu Samorządowym oraz Interaktywnie.com

 

44% badanych jest zdania, że głosować w ten sposób powinien móc każdy wyborca, natomiast 32% uważa, że możliwość taką powinny mieć jedynie osoby, dla których dotarcie do lokalu wyborczego stanowi trudność.

Największy odsetek zwolenników głosowania drogą internetową przez wszystkich wyborców zauważamy w grupie ludzi młodych. Ponad połowa osób w wieku między 18 a 34 rokiem życia popiera takie rozwiązanie.

 
 źr:interaktywnie.com

Badanych poproszono również o wskazanie, w jaki sposób sami zagłosowaliby najchętniej – najczęściej wskazywaną odpowiedzią okazało się głosowanie w lokalu wyborczym, tę opcję wskazało 68% pytanych osób. Wśród nich znalazły się również osoby niepełnosprawne oraz starsze, podkreślające jednocześnie konieczność lepszego przystosowania lokali wyborczych.

Za pośrednictwem Internetu najchętniej zagłosowałaby ponad ¼ badanych (27%).

Z badania wynika również, że część pytanych osób oczekuje, że państwo będzie także aktywnym informatorem w kwestiach organizacyjnych związanych z wyborami. 33%  badanych chciałoby otrzymywać informacje, dotyczące terminu wyborów oraz ułatwień dla wyborców, pocztą lub mailem.

źr:interaktywnie.com

Badanie przeprowadzono metodą wywiadów bezpośrednich (face-to-face) wspomaganych komputerowo (CAPI) w dniach 6-12 marca 2014 r. na liczącej 1098 osób reprezentatywnej próbie losowej dorosłych mieszkańców Polski.

Raport “Ułatwienia w głosowaniu – wiedza, opinie i oczekiwania”, powstał w ramach projektu badawczego Biura Rzecznika Praw Obywatelskich oraz CBOS.  Pełen raport będzie dostępny na stronie CBOS.

PC

[Przegląd prasy] Politykom ufamy najmniej

Instytut GFK w 25 krajach przeprowadził badanie dotyczące zaufania do konkretnych grup zawodowych. Aż w 15 z nich (w tym w Polsce) grupę wzbudzającą największe zaufanie stanowią strażacy.

Najmniejszym zaufaniem, w każdym z badanych krajów, cieszą się politycy.

Więcej informacji tutaj.

 

Na świecie zaufanie wzbudzają przede wszystkim grupy zawodowe związane z medycyną oraz ratownictwem: 90% badanych respondentów zadeklarowało zaufanie do strażaków,  na drugim miejscu znalazły się pielęgniarki oraz lekarze (po 89%). W czołówce uplasowali się również farmaceuci (87%) oraz ratownicy medyczni (84%)

Wysokim poziomem zaufania na świecie cieszą się również nauczyciele (88%).

W Polsce, tak samo jak na świecie, pierwsze miejsce wśród grup zawodowych cieszących się zaufaniem zajmują strażacy. Na zaufanie do tej grupy społecznej wskazało aż 94% badanych.

Również w Polsce, analogicznie do wyników światowych, wysokie pozycje zajmują zawody związane ze służbą zdrowa. Pielęgniarkom ufa 93%, ratownikom medycznym 88%, a farmaceutom 87% respondentów. Nieco niżej niż w światowym rankingu znaleźli się lekarze, w Polsce zaufaniem darzy ich 80% badanych.

Wysokiem poziomem zaufania cieszą również nauczyciele (83%).

Zarówno na świecie, jak i w Polsce do zawodów obdarzonych najmniejszym zaufaniem należą: burmistrzowie (45% w Polsce, 53% na świecie), agenci ubezpieczeniowi (39% i 48%), specjaliści ds. reklamy (35% i 56%) oraz politycy (16% i 31%).

W ramach badania GfK analizowany jest poziom zaufania do ponad 30 grup zawodowych. W analizie uwzględniono jedynie te profesje, które występują we wszystkich 25 badanych krajach.

PC

 

[Przegląd prasy] Dzieci w sieci a PISA 2012 rozwiązywanie problemów

Wczoraj w serwisie wyborcza.pl pojawił się ciekawy artykuł ,,Pokazujemy, z czym nie poradzili sobie Polacy w teście PISA”, dotyczący wyników PISA 2012 w obszarze rozwiązywanie problemów. Interesująca jest wypowiedź jednej nauczycielki: ,,To, co niepokoi mnie jako nauczyciela, to podobieństwo zadań oraz polecenia, które są długie i mogą nie być dla wszystkich jasne. Tak nie powinno się formułować testów”, którą można zrozumieć w ten sposób, że zdaniem nauczycielki pytania powinny być krótkie i możliwe do odpowiedzenia natychmiast. A ten obszar ‘creative problem solving’ PISA szczególnie dotyczy umiejętności szukania odpowiedzi w złożonych problemach wymagających nieszablonowaości i kreatywności.

Słabsze wyniki w obszarze rozwiązywania problemów są zaskakujące, gdy zestawić ją z postawą naszych uczniów ,,pro-problemową”. Zgodnie z tą prezentacją, polscy uczniowie częściej niż inni deklarują, że lubią i potrafią rozwiązywać problemy (slajd z tej prezentacji poniżej).

Jak więc jest z tą umiejętnością używania technologii w rozwiązywaniu problemów? Dzisiaj Paula C przedstawi badanie ,,Dzieci w Sieci” dotyczące wykorzystania technologii wśród przedszkolaków.

Gfk Polonia, na zlecenie serwisu Ciufcia.pl praz Atmediów zrealizowało badanie dotyczące obecności i zachowań najmłodszych użytkowników Internetu.

Więcej informacji tutaj.

 

Z badania wynika, że aż 78% procent dzieci w wieku 3- 6 lat korzysta z Internetu kilka razy w tygodniu. Szczególnie dużym zainteresowaniem wśród przedszkolaków (70%) cieszy się możliwość oglądania filmów i seriali za pośrednictwem Internetu.

Dzieci w coraz większym stopniu korzystają także z nowoczesnych urządzeń – 79% ma dostęp do komputera osobistego, 42% do smartfonów, 37% natomiast korzysta z tabletów.

Badanie pokazuje również, że rodzice są świadomi zagrożeń związanych z użytkowaniem Internetu przez ich dzieci. Mimo to, 85% rodziców jest zdania, że dzieci korzystając z sieci mogą się wiele nauczyć, a 83% wskazuje, iż Internet rozwija potrzebne w dzisiejszych czasach umiejętności.

 

źródło: http://marketing-news.pl/message.php?art=41450


Firma GfK Polonia przebadała 2191 rodziców dzieci, które są w wieku od trzech do sześciu lat i aktywnie korzystają z Internetu. Badanie przeprowadzono na przełomie stycznia i lutego 2014 r.

„Przedszkolaki w Sieci” to kontynuacja badania „Dzieci w necie”, przeprowadzonego przez Atmedia w 2011 r.

PC

[Przegląd prasy] Rekomendacje zakupowe Polaków

Z okazji Światowego Dnia Konsumenta, który to przypada na 15 marca, PBS na zlecenie Fundacji Obserwatorium Zarządzania przeprowadziło badanie dotyczące jakości obsługi Klienta. Więcej informacji tutaj.

Wyniki badania podkreślają rolę rekomendacji w procesie zakupowym Polaków. Aż 22% badanych zadeklarowało, iż zdecydowało się na zakup pod wpływem rekomendacji przynajmniej raz w ciągu ostatnich trzech miesięcy.

Źródło: http://nowymarketing.pl/a/3067,jak-rekomendacje-klientow-wplywaja-na-zysk-firmy-badanie-pbs-dla-obserwatorium-zarzadzania

Najczęściej wskazywaną branżą, w której rekomendacja miała wpływ na dokonanie zakupu okazała się branża spożywcza, na pytanie “W jakich branżach w ciągu minionych 3 miesięcy skorzystał/a Pan/i z polecenia” 39% badanych wybrało ten właśnie sektor. ¼ badanych odpowiedziała, iż z polecenia korzysta podczas wyboru produktów lub usług z branży kosmetycznej, 18% – branży odzieżowej. Na rekomendacjach w kwestii opieki zdrowotnej swoje decyzje opiera 17% Klientów.

Źródło: http://nowymarketing.pl/a/3067,jak-rekomendacje-klientow-wplywaja-na-zysk-firmy-badanie-pbs-dla-obserwatorium-zarzadzania

Klienci poza  korzystaniem z rekomendacji częściej również sami są skłonni do polecania bądź odradzania produktów i usług. W ciągu ostatnich trzech miesięcy 24% Konsumentów poleciło produkt lub usługę,  17% natomiast podzieliło się opinią negatywną.

 

Według badania istnieje grupa Klientów świadomych – są to osoby, które znacząco częściej od pozostałych Konsumentów polecają, jak i odradzają dane produkty lub usługi. Do grupy tej należą głównie osoby dobrze wykształcone, pracujące oraz posiadające stabilną sytuację finansową.

 

Badanie przeprowadzono na próbie N=1000 Polaków od 15 roku życia w ramach ogólnopolskiego badania Omnibus PBS na zlecenie Obserwatorium Zarządzania. Badanie odbyło się w terminie 7-9 marca 2014 i było przeprowadzone techniką CAPI (wywiady osobiste wspomagane komputerowo).

Więcej informacji dotyczących badania można znaleźć pod adresem: http://nowymarketing.pl/a/3067,jak-rekomendacje-klientow-wplywaja-na-zysk-firmy-badanie-pbs-dla-obserwatorium-zarzadzania oraz http://www.wirtualnemedia.pl/artykul/rekomendacje-ksztaltuja-decyzje-zakupowe-polakow.

PC

[Przegląd prasy] Młodzież a polityka – badanie CBOS

Jakiś czas temu pisałem, że największą zaletą fundacji jest to, że przyciągają one osoby o ciekawych pomysłach i pomagają w realizacji tych pomysłów. Mamy więc koleje potwierdzenie tej opinii. Jakiś czas temu zgłosiła się do nas pani Paula Cybowska z propozycją pomocy w prowadzeniu ,,przeglądu prasy” związanego ze zbieraniem i analizą danych. Dziś pierwsza notatka poświęcona ciekawym badaniom prowadzonym przez CBOS.

Według sondażu CBOS, przeprowadzonego w listopadzie i grudniu 2013 zainteresowanie młodzieży polityką, w porównaniu do ostatnich lat, maleje.

Paula Cybowska

Żródło: http://www.cbos.pl/PL/wydarzenia/34_konferencja/2_Mlodziez_2013-Zainteresowanie_polityka_i_poglady_polityczne.pdf

Czytaj dalej [Przegląd prasy] Młodzież a polityka – badanie CBOS

Wybrane fakty i mity na temat PISA 2012

Otrzymałem ostatnio link do bloga pana Ksawerego Stojdy ,,PISA 2012 – próba analizy krytycznej”, w którym autor krytykuje badanie PISA przedstawiając własne doświadczenia z analiz danych PISA 2012.

Autor tego bloga podjął się niezależnych analiz danych PISA (chwała mu za to) ale dosyć szybko się zraża i jak coś mu się nie pasuje to często używa słowa ,,manipulacja” (o badaniu) lub ,,matoły” (o niektórych uczniach).
W wielu przypadkach wnika to z nieznajomości pewnych założeń badania. A że te założenia są ciekawe stwierdziłem, że warto o nich napisać w formie polemiki z blogiem pana Ksawerego Stojdy.
Wypada zaznaczyć, że nie jestem zupełnie obiektywny. Znając analityków pracujących nad analizami danych PISA mam wysokie zdanie zarówno o wynikach jak i o tym zespole osób. Znając również metody ich pracy, uważam wszelkie pomówienia o manipulacje za wysoce kłamliwe. W badaniu tej skali pewne rzeczy mogą być niejasne lub niedoskonałe, ale można niejasności łatwo wyjaśnić mailowo z prowadzącymi badanie.

Poniżej umieszczam cytaty z w.w. bloga wraz z moimi komentarzami/sprostowaniami. Odnoszę się tylko do konkretnych zarzutów. Pomijam zdania opisujące ogólne przekonanie o manipulowaniu czymś przez kogoś bez konkretów.

Jako statystyka, bardzo cieszy mnie, gdy dyskusja przenosi się na poziom analizy danych. Mam nadzieję, że w miarę jak wiedza o konstrukcji badania PISA będzie powszechniejsza, liczba ciekawych wyników i wniosków wysnutych z tych danych będzie rosła i rosła.

Zaskakujące jednak jest przyjrzenie się liczbie pytań, na które odpowiadali poszczególni uczniowie. Drobne różnice byłyby zrozumiałe — do jednego zestawu weszło zadanie z 4 pytaniami Q1-Q4, a do drugiego takie z Q1-Q5. Tymczasem obserwowane różnice liczby pytań, za jakie oceniany był uczeń, są dramatycznie różne: od 13 do 45. Taka rozpiętość sugeruja raczej nie bałagan w tworzeniu zestawów pytań o niespójnej objętości, ale raczej usunięcie części odpowiedzi z publikowanych danych.

Jeżeli odrzucić teorie spiskowe to można łatwo znaleźć prawdziwą przyczynę takiej rozpiętości. Opisaną zresztą w dokumentacji.

Jest jeden specjalny zestaw zadań (o ile pamiętam booklet 20) który jest ,,One-hour booklet and short questionnaire (UH Booklet and UH Questionnaire) for students with special education needs”.

Ma on mniej zadań ale jest przeznaczony tylko dla uczniów ze ,,specjalnymi potrzebami”.

Zniekształcona grupa odniesienia

PISA deklaruje, że stara się z każdego kraju badać próbę uczniów tej samej wielkości (ok. 5000). Już to podejście tworzy zafałszowany obraz odniesienia populacji wszystkich badanych krajów (w domyśle całego świata) — Estonia wnosi do tej puli tyle samo co Francja, czyli estoński uczeń ponad 50 razy więcej, niż francuski. Te proporcje zotały jednak dodatkowo zniekształcone: z większości krajów próby sa wprawdzie około 5000, to kilka krajów jest bardzo silnie nadreprezentowana, nawet do liczności ponad 20,000, czyli ponad czterokrotnie. Takimi nadreprezentowanymi w tworzeniu obrazu odniesienia krajami są m.in. Emiraty Arabskie, Kanada i Finlandia.

Minimalna wielkość próby (ustawiona na około 5000) jest potrzebna by uzyskać odpowiednią dokładność oceny średnich umiejętności w kraju. Większa próba w niczym nie szkodzi.

Każdy student ma wagę opisującą jego ,,reprezentatywność”. Dlatego wszystkie analizy powinny być przeprowadzane z uwzględnieniem tych wag. W krajach gdzie wykonano ,,oversampling” wagi są niższe by uwzględnić różne wielkości próby.
Podobnie w krajach takich jak Luksemburg, gdzie w całym kraju być może nie ma 5000 15-latków, wagi są tak dobrane by uwzględnić inne reprezentatywności studentów z poszczególnych krajów.

Kraje robiły oversampling (jeżeli chciały) by się czegoś dodatkowego ciekawego dowiedzieć. O ile pamiętam Polska robiła oversampling szkół prywatnych, dzięki czemu lepiej mogła ocenić charakterystyki szkół prywatnych.
W próbie jest więc więcej uczniów ze szkół prywatnych i więcej uczniów ze szkół małych niż jest ich w całym kraju, ale po to są wagi by te różnice uwzględnić.

Aby poprawnie wykonać analizy należy te wagi uwzględnić (tak jak jest to opisane w przewodniku po metodologii).

Zastanówmy się jednak nad realnością sytuacji, że na 30% najłatwiejszych pytań potrafiło odpowiedzieć (i odpowiedziało) ponad 98% uczniów. Mamy tylko 2% matołów i olewaczy? To jest dopiero sukces polskiej szkoły!
Z drugiej strony popatrzmy na prawą stronę tego wykresu: tylko 5% uczniów (i to już tych przeselekcjonowanych manipulacją PISA…) umie odpowiedzieć na co najmniej 90% pytań — z tego, co można wnioskować po przeczytaniu tych kilku ujawnionych — pytań trywialnych i oczywistych dla każdego, kto uzyskał maturę za czasów minionego ustroju.

Konstrukcja zadań w badaniu PISA zakłada, że w kwestionariuszu są zarówno bardzo proste jak i bardzo trudne zadania. Dlatego jedynie niewielka liczba uczniów nie potrafi rozwiązać żadnego zadania lub potrafi rozwiązać wszystkie zadania.

Takie zestawienie zadań pozwala z dobrą dokładnością szacować poziom umiejętności zarówno osób słabych jak i bardzo dobrych. Jeżeli tym samym formularzem planujemy porównywać wyniki elitarnych szkół w Korei czy Singapurze ze szkołami w Meksyku czy Peru to musimy mieć formularz o szerokiej skali.

Patrząc na to, jak wygląda rozkład umiejętności 15-latków na świecie, uczniowie w Polsce mają całkiem niezłą sytuację.
Nikogo nie dziwi, że 15-latek w Polsce potrafi biegle czytać i pisać. A to umiejętności wystarczające do rozwiązania pewnych zadań i umiejętności wcale nie takie oczywiste wśród 15-latków w innych krajach.

Błędna dokumentacja

PISA opublikowała „surowe dane” jako plik tekstowy wraz z opisem jego składni (jak zapisane są informacje). Ten opis jest ewidentnie fałszywy, w szczególności według opisu każda linijka tych danych powinna zawierać 545 znaków, natomiast plik składa się z linijek o długości 541 znaków.

Nazywanie opisu ,,ewidentnie fałszywym” ponieważ brakuje nazw dla ostatnich czterech kolumn jest chyba nadużyciem.

Nie znam żadnego badania opartego o ankiety wykonanego w skali PISA (500 000 przebadanych osób w ponad 60 krajach, setki zmiennych, trzy formaty zapisu danych), które byłoby tak dobrze opisane i udokumentowane.

Jeżeli ktoś ma problemy z odczytaniem pliku tekstowego, może korzystać z gotowych danych do wczytania jednym kliknięciem w formacie programu SPSS, SAS czy R (np z pakietu PISA2012lite https://github.com/pbiecek/PISA2012lite)

Można również poprosić zespół PISA o wsparcie. W razie wątpliwości zaktualizują dane lub rozszerzą opis.
Pracując na danych z 2003 roku okazało się, że brakuje kilku kolumn, wystarczyło napisać maila i po dwóch dniach dane były uaktualnione.

Brak informacji o zadaniach

W publikowanych danych nie ma treści zadań. Nie ma też o nich tak ważnych informacji, jak to, to jakiej grupy trudności były zaliczone i jaka była ich punktacja. Jedyne, co można się dowiedzieć, to:

Część zadań jest publikowanych po badaniu. Ale większość nie.
I jest ku temu powód. Część z tych zadań jest wykorzystywana w kolejnych edycjach badania aby móc rzetelnie badać czy poziom umiejętności w rozwiązywaniu określonego zadania wzrósł czy nie.
Te pytania są silnie strzeżonym sekretem.
Takie pytania są potrzebne by można było porównywać wyniki pomiędzy różnymi edycjami (wyskalować dane do tendów).

Brakujące pytania

Na liście znajdujemy pytania o nazwach: „MATH – P2012 Chocolate Q2″, „MATH – P2012 Chocolate Q3″ i „… – Q5″. Ale o pytaniach Q1 i Q4 do tego tekstu ani widu, ani słychu. Podobnych brakujących pytań jest bardzo dużo, dotyczy to niemal połowy zadań. W najgorszym przypadku (najtrudniejsze z zadań z serii ‚Reading’: „Narcissus”) mamy Q1, Q6 i Q7, ale Q2-5 nie istnieją. Uczniowie na te pytania odpowiadali, ale oceny odpowiedzi na nie zniknęły przed opublikowaniem zbioru „surowych” danych.

Pytania są najpierw opracowane przez ekspertów a później są testowane ,,na placu boju” (w badaniach pilotowych). Jeżeli eksperci przygotują siedem podpunktów do jednego pytania (czyli to Q1 … Q7) ale część z podpunktów nie przejdzie testów neutralności, to te podpunkty są usuwane z puli pytań i nie biorą udziału w badaniach.
Ale dla czytelności nie zmienia się oznaczeń pytań.

Testy neutralności polegają na przykład na sprawdzeniu, czy określone pytanie nie jest nadzwyczaj łatwe/trudne dla określonego kraju lub określonej płci. Jeżeli na etapie testów pytanie nie jet neutralne kulturowo to będzie usunięte by nie zaburzać wyników.

Brakujące ankiety

Z ogromnym zaskoczeniem zauważyłem, że w Polsce nie zdarzył się ani jeden przypadek ucznia, który oddałby pusty formularz: nie próbując nawet odpowiedzieć na żadne z pytań. Cóż za budująca masowość zaangażowania gimnazjalistów w badania naukowe! ;)
W wielu krajach sytuacja jest podobna, w niektórych innych takie formularze zdarzają się, ale ich liczba jest nierealistycznie niska (poniżej 1%)

Nie potrafię znaleźć innego wytłumaczenia dla tego braku pustych odpowiedzi, niż usunięcie ich z pliku „surowych” danych.

No cóż, ja potrafię znaleźć inne wytłumaczenia.
Najbardziej oczywistym jest to, że wbrew powszechnym narzekaniom 15-latkom się chce.

Brak bardzo złych odpowiedzi

W całym Polskim badaniu (na 4607 formularzy uczniowskich opublikowanych w zbiorze) jest aż jeden (tak, dokładnie jeden na 4607 opublikowanych formularzy) uczeń, który nie odpowiedział poprawnie na żadne z pytań. W innych krajach jest niewiele lepiej. W Kanadzie na 21,544 opublikowanych wyników jest tylko 48 takich „zupełnych analfabetów”.

W dobrym badaniu, w którym chce testować się szeroką rozpiętość umiejętności, umieszcza się zarówno proste jak i trudne pytania.
Dlatego w puli zadań są też dla przeciętnie wyedukowanego gimnazjalisty zadania oczywiste.
Są wręcz pytania, do których rozwiązania wystarczy umiejętność czytania.
Jednym z powodów, dla którego takie zadania są potrzebne jest chociażby ocena na ile poważnie uczniowie podchodzili do badania. Do analizy rzetelności należy najpierw zbadać zaangażowanie studentów biorących udział w tym badaniu.

Identyczne odpowiedzi

Około 10% polskich formularzy (419 na 4607) odpowiedzi jest w 100% zgodne z jakimś innym formularzem. Nie jest to ani efekt typu „obaj uczniowie odpowiedzieli dobrze na wszystkie pytania”, ani „obaj nie odpowiedzieli na żadne” — dotyczy to również formularzy, gdzie poprawnie odpowiedziano na połowę czy 2/3 pytań. Przypadkowa zbiezność jest nieprawdopodobna.

To nie jest takie dziwne jeżeli uwzględnić, że część pytań jest bardzo prosta i większość uczniów je robi, część jest trudna i większość ich nie robi. Wygląda jak zwykły paradoks dnia urodzin

http://pl.wikipedia.org/wiki/Paradoks_dnia_urodzin

Nawet przyjmując za dobrą monetę rzetelność badania, należy właściwie interpretować ten „niesamowity polski sukces” — oznacza on, że jeśli uczniom dajemy 40 pytań, w większości banalnych i skrajnie oczywistych, to na całym świecie w roku 2000 średnio uczniowie odpowiadali poprawnie na 24 z nich, a w Polsce dziś aż na 25.

To niezrozumienie sposobu w jaki bada się umiejętności. Badania w kwestionariuszu nie mają takich samych poziomów trudności. Wręcz mają różną skalę trudności. Może być dużą różnicą przeskoczenie z poziomu 24 rozwiązanych zadań na 25 rozwiązanych zadań ponieważ to dodatkowe zadanie świadczy to o szerszej skali umiejętności.

Analogia ze sportu. Jeżeli mistrzowie z Jamajki biegają 100 metrów w 9.9 sekundy a mistrzowie z innych krajów biegają 100 metrów w 10 sekund, to nie mówimy że różnica jest niewielka. Ta jedna setna robi różnice, bo każda kolejna jedna setna wymaga bardzo dużego zestawu umiejętności.

Podobnie jest z rozwiązaniem średnio 24 lub 25 zadań. To są duże różnice.

Symbole krajów według prywatnej konwencji PISA (kto im bronił stosować konwencję ISO?), ale daje się domyśleć, że POL to Polska, EST – Estonia, a SWE – Szwecja. QCN to Szanghaj.

PISA używa konwencji ISO 3 (trzyliterowe skróty). Wyjątkiem są obszary, które nie są krajami i nie mają swoich kodów ISO
(np. Szanghaj).

Jeszcze jedna ciekawostka: w zbiorze „surowych” danych z całego świata są dane z tylko 43 krajów. A w PISA uczestniczy 65. Dane z pozostałych wyparowały. Według publikacji PISA badanie dotyczyło „around 510 000 students”, a w udostępnionym pliku są tylko 271,323 rekordy.

Polecam korzystanie z pakietu PISA2012lite dla programu R (darmowy open source do analiz statystycznych).

https://github.com/pbiecek/PISA2012lite

Są dane la wszystkich krajów do załadowania w kilkanaście sekund (nie licząc czasu ściągania 200MB z internetu).

Chodzą wprawdzie plotki, że w różnych krajach (w tym Polsce — ponoć uczniowie nie odpowiadali na pytania z rachunku prawdopodobieństwa) część zadań nie była oceniana, a ich wyniki byłý ekstrapolowane z wyników innych zadań.

Nie wiem gdzie takie plotki chodzą. W przypadku prawdopodobieństwa łatwo sprawdzić, że polscy uczniowie na pytania z rachunku prawdopodobieństwa odpowiadali. Jak to sprawdzić? Należy wybierając z klasyfikacji tylko zadania z prawdopodobieństwa i sprawdzać odpowiedzi dla Polski.

W ogólności jest tak, że nie wszystkie zestawy zadań były rozlosowane po wszystkich krajach. W roku 2012 zadania z matematyki były pogrupowane w 7 grup (klastrów). Przy czym grupy 6 i 7 wstępują w dwóch wariantach 6A/7A i 6B/7B. Wersja A jest trudniejsza niż B.

Dlatego w krajach w których spodziewano się niższych wyników rozlosowano więcej łatwych zadań by utrzymać dobrą rozdzielczość testu dla niższego poziomu umiejętności.

Patrząc na te liczby weźmy poprawkę na manipulację danymi (patrz niżej) — magiczne zniknięcie ankiet z bardzo złymi wynikami. Zauważmy, że na tym obrazku nie są przedstawione wyniki polskich uczniów, ani ich losowej czy reprezentatywnej próby: sa to uczniowie-aniołowie, spośród których ponad 98% odpowiada na najprostsze zadania! To tak, jakbyśmy w 30-osobowej klasie gimnazjalnej nie mieli ani jednego matoła, oddającego pustą kartkę, albo pokazującego nam gest Kozakiewicza na prośbę o wypełnienie testu.

Nie wiem po co uczniowie mieliby pokazywać ,,gest Kozakiewicza na prośbę o wypełnienie testu”. Może żyję w innej rzeczywistości, ale nie dziwi mnie to, że uczniowie otrzymując zadania próbują rozwiązać przynajmniej kilka, choćby z czystej ciekawości.

Badanie jest tak skonstruowane, że na rozwiązywanie zadań są ponad dwie godziny (dokładniej godzina przed i godzina po krótkiej przerwie). Po tych dwóch godzinach student proszony jest o wypełnienie kwestionariusza osobowego.
Dziwiłoby mnie gdyby uczniowie z czystej złośliwości oddawaliby puste arkusze bez próby rozwiązania zadań i czekali dwie godziny na wypełnienie kwestionariusza osobowego siedząc w ławce i się nudząc.

Wyniki konkursu i słów kilka o raporcie ,,Mów do rzeczy”

Dzisiaj dwa tematy, rozwiązanie konkursu na najgorszą wizualizację 2013 roku i kilka słów o raporcie ze wskazówkami jak robić dobre analizy/wizualizacje.

Konkurs zdecydowanie wygrała grafika Ministerstwa Nauki i Szkolnictwa Wyższego ,,Wydatki na badania i rozwój”. Wybrał ją praktycznie co drugi uczestnik zabawy, był to wynik dwukrotnie wyższy niż dla kolejnych pozycji. ,,Beautiful Evidence” Edwarda Tuftego otrzyma więc była minister nauki.



Być może niedługo laureatom takich konkursów będę mógł wysyłać polskojęzyczne pozycje o wizualizacji danych. Nad jedną teraz pracuję, inna, ciekawa, ukazała się w poprzednim roku.

Chodzi o publikację ,,Mów do rzeczy. Jak korzystać z danych w działaniach rzeczniczych?” opracowaną przez Pracownię Badań i Innowacji Społecznych ,,Stocznia”, którą można bezpłatnie pobrać z tego adresu.

Publikacja jest bardzo przystępna (miejscami może nawet za bardzo). Nie trzeba się zrażać podtytułem ,,badania rzecznicze”, ta publikacja jest praktycznie dla każdej osoby zajmującej się komunikacją z użyciem danych. Szczególnie polecam osobom początkującym. Ścisłowcy woleliby pewnie inny rozkład akcentów, ale i dla nich powinna być to ciekawa lektura.

Opisano w niej zagadnienia związane z organizacją badań opartych na dane, analizą danych, wizualizacją danych i przygotowaniem raportu. Całość to publikacja poniżej 140 stron, więc zagadnienia są opisane dosyć skrótowo, ale jest bardzo wiele odnośników, materiał jest bardzo ciekawie wybrany.

Szczególnie polecam rozdział 8 – wizualizacja danych, w którym znaleźć można interesując wskazówki i przykłady dobrych i złych grafik.