Pan Wojciech Szacki na swoim blogu zaapelował ,,niech socjologowie zajmą się wreszcie na serio różnicami w sondażach partyjnych”. Rozgoryczenie łatwo rozumieć. Nie dość, że PKW daje plamę, to jeszcze różne sondaże poparcia pokazują zupełnie różne wyniki. Jedne miażdżącą przewagę PO, drugie zwycięstwo PIS, a po sieci krążą mapki ze zwycięstwem PSL (w innych wyścigach, ale zawsze).
Jednak czy te różnice są rzeczywiście tak niewiarygodne, że należy zwołać komisję śledczą, kontrolę NIK lub śledztwo na wykopie? Zobaczmy.
Poniżej wykres (ze strony wyborcza.pl) przestawiający wyniki sondaży CBOS z ostatniego półtora roku (wreszcie sondaże są prezentowane w szerszej perspektywie niż jednego – dwóch miesięcy. Pisaliśmy o tym problemie w Esejach).
Miesiąc temu był remis a teraz różnica to 11 procent?
Przekornie (jak na człowieka kształconego na lemacie Neymana-Pearsona przystało) oszacujmy jakie jest prawdopodobieństwo, że po sondażu, w którym te dwie partie miały równe poparcie w kolejnym sondażu wyszłaby różnica 11%.
Próba w badaniu CBOS to 934 ankietowanych, poparcie jest w okolicy 34%. Upraszczając historię do próby prostej, odchylenie standardowe to około 1.5%. Odchylenie standardowe dla różnicy poparcia pomiędzy dwoma sondażami to ponad 2.1%.
Ponieważ poparcie dla PO i PIS są silnie ujemnie skorelowane, spadek poparcia jednej partii o 6% może odpowiadać wzrostowi o 6% drugiej, czyli różnicy pomiędzy partiami 12%.
Ok a czy to 6% zmiany dla jednej partii to dużo czy nie? Mając odchylenie standardowe 2.1% jest to różnica około trzech odchyleń standardowych, przyjmując aproksymacje rozkładem normalnym (CTG działa dla dwumianowego nieźle) mamy prawdopodobieństwo około 0.0025, czyli 1/400 (to może być wzrost o 6% lub spadek o 6%). A ponieważ cztery ośrodki prowadzą badania co miesiąc, to 400 sondaży mija po mniej niż po 10 latach.
Jaka jest więc pointa?
Mówi się, że jesteśmy zalewani informacjami.
IMHO człowiek przygotowany do życia w takim świecie, to nie człowiek który potrafi zapamiętać te wszystkie informacje.
Ale człowiek, który rozumie jaką niepewnością te informacje są obarczone.
I mój wniosek [z podziękowaniem dla anuszki]. Pojedynczy sondaż jest dosyć niedokładnym narzędziem i co jakiś czas może bardzo się zmieniać lub bardzo różnic pomiędzy ośrodkami. Takie mamy sondaże (parafrazując klasyczkę).
Sensowniejsza byłaby agregacja różnych sondaży lub wyłapywanie trendów na dłuższy przedziale czasu lub robienie sondaży na większą skalę.
No dobra, ale jaki jest wniosek?
@anuszka,
dla mnie wniosek jest taki, że pojedynczy sondaż jest dosyć niedokładnym narzędziem i co jakiś czas może bardzo się zmieniać lub bardzo różnic pomiędzy ośrodkami. Takie mamy sondaże (parafrazując klasyczkę).
Sensowniejsza byłaby agregacja różnych sondaży lub wyłapywanie trendów na dłuższy przedziale czasu lub robienie sondaży na większą skalę.
@Bartek, agencje sondażowe robią sondaże w warstwach by trochę poprawić estymację, więc wewnętrznie mogą kontrolować różne czynniki, ale nie widziałem jeszcze by któraś agencja udostępniła publicznie ,,surowe” dane.
Przypomniało mi to jednak, że zbierałem i oglądałem serie ponad 50 sondaży [tutaj opis http://biecek.pl/Eseje/indexDane.html%5D i zdarzało się, że z sondażu na sondaż poparcie PO raz wzrosło o 5% a raz zmalało o 6%. Więc na przestrzeni 400 sondaży takie skoki byłyby nawet częste (bo i poparcie jakoś dryfuje).
To, że takie rzeczy powinny zdarzać się raz na 10 lat (szkoda, że nie ma danych jak to wyglądało na przestrzeni tych 10 lat 🙂 )
Według mnie trudno z tego wyciągać wnioski, bo te raporty są za słabo opracowane. Wiadomo tylko ile osób deklaruje pójście na wybory i jak się rozkładają wśród tych osób głosy. Czy są gdzieś opracowania z większa ilością informacji?
Gdzie były przeprowadzane ankiety? Przekrój populacji, czyli wiek, płeć, miejsce zamieszkania? Mając takie informacje mniej więcej można by określić, czy drastyczna zmiana nie jest przypadkiem efektem odpowiedniego doboru respondentów, a znając życie czasami to jeden z głównych punktów metodologicznych badań ankietowych (chcemy mieć odpowiedni efekt więc szukamy odpowiednich osób). Czy ktoś to kontroluje i czy znane są nazwiska osób które walidują takie wyniki? Prawdopodobnie nie… a szkoda, bo zazwyczaj jak się nie pokazuje pewnych danych to jest coś do ukrycia 🙂
Może to trywialne pytanie, ale czy mógłbyś rozjaśnić skąd to 1,5% w zdaniu: „Upraszczając historię do próby prostej, odchylenie standardowe to około 1.5%.”
Najprostszy model to rozkłąd dwumianowy, w którym na pytanie ,,Czy zagłosuje Pan na partię X” respondent odpowiada 'Tak’ z prawdopodobieństwem 0.34.
Mamy teraz 1000 odpowiedzi, za poparcie uznajemy częstość odpowiedzi 'Tak’. Odchylenie standardowe dla takiej częstości to sqrt(0.34*(1-0.34)/1000). Wychodzi 1.497999%.
OK, dziękuję za wyjaśnienia. Teraz pojąłem 🙂
Odnośnie statystyki i wyborów, znalazłem ciekawą pracę na temat wyników wyborów w Rosji, sugerującą, że z wynikami jest coś mocno nie tak:
http://oude-rus.livejournal.com/542295.html
polskie omówienie:
http://wtemaciemaci.salon24.pl/373160,krzywa-gaussa-a-krzywy-ryj
Ciekawa analiza, choć przydałyby się jeszcze informacje o frekwencji i wielkości okręgów.
W każdym razie im większa dostępność danych tym większa możliwość zbadania czy wszystko przeprowadzone było ok.
Niektóre ośrodku prowadzą badania co 2 tygodnie, więc miesięcznie mamy jakieś 6 (a bywało że 8) punktów pomiarowych. Z drugiej strony skorelowanie ujemne jest na poziomie 0,4-0,7 dla różnych lat i różnych okien czasowych, więc przepływem elektoratu można wyjaśnić najwyżej połowę zmiany drugiej partii. Więc co by nie było wychodzi te 10 lat:)
Istotnym elementem jest jednak obciążenie metody badawczej o którym wspomniano, które może być na poziomie nawet do 20% względnego wyniku partii i już przechodzimy do bardziej prawdopodobnego reżimu bliżej 2 sigma
Polecam prace zespołu „Na straży sondaży” z IS UW – ekipa do 2012 roku dyskutuje o problemach metodologicznych i społecznych związanych z wiarygodnością sondaży. Jest tam trochę kuchni socjologicznej, ale – podobnie jak Smarter Poland – nie mają dostępu do surówki, więc nie chcą stawiać mocniejszych wniosków w komentarzach. Ale komentarze metodologiczne i próby kształtowania etyki sondażowej są godne pochwały.
http://nastrazysondazy.uw.edu.pl/
Tak, ,,Na straży sondaży” robią dobrą robotę w tym zakresie. AFAIK dzisiaj mają debatę nt wyników w exit-polls w której uczestniczą ludzie z agencji badania opinii więc można pewne rzeczy wyjaśniać u źródeł.
Ważna uwaga odnośnie: „Upraszczając historię do próby prostej, odchylenie standardowe to około 1.5%.” Rzeczywista wielkość prób w badaniach sondażowych to nie 1000, a około 500 osób. Firmy podają liczebność całej próby, ale na pytanie o preferencje wyborcze odpowiadają tylko Ci, którzy wcześniej zadeklarują udział w wyborach. Zazwyczaj jest to około 50% respondentów. Czyli tak naprawdę sqrt(0.34*(1-0.34)/500)*100%= 2,11849%. Tak jest we wszystkich badaniach robionych metodą face-to-face.
Jest wiele czynników wpływających na te wahania:
http://nastrazysondazy.uw.edu.pl/opinia-w-sprawie-roznic-w-listopadowych-sondazach-wyborczych-cbos-i-tns-polska/
Chciałabym zobaczyć taką analizę dla porównania Exit Poll z realnymi wynikami. Nie dość, że zrobioną bardzo przejrzyście to jeszcze opisaną bardzo przystępnie.