Zastanawiam się czasem, jak szybko zmienia się poparcie dla rozmaitych partii politycznych.
Trudno to ocenić, ponieważ w różnych sondażach (o ile wiem, może się mylę) o poglądy pyta się różne osoby. Zmienność pomiędzy sondażami może więc brać się i z tego, że zmieniła się ,,średnie poparcie” w społeczeństwie i z losowych fluktuacji próby.
Aby rozróżnić te efekty, trzeba by zrobić badanie na np. trzech tysiącach osób i pytać je o opinie co miesiąc aby wyeliminować efekt doboru próby (swoja drogą, ciekawe czy NCN sfinansowałby takie badanie).
Skąd te rozważania? Poniżej pokazuję wykres poparcia dla jednej z dużych partii, mierzony przez jedną z dużych firm badania opinii publicznej (bez nazw, bo są one nieistotne, dociekliwi sprawdzą sobie sami, np. na tej stronie.
Na początku stycznia widzimy gwałtowny skok poparcia, ale czy to szum i wynik przypadkowo ,,niereprezentatywnej” próby, czy też w okolicy tego okresu wydarzenia spowodowały, że w całym społeczeństwie poparcie dla danej partii wzrosło (ale w ciągu trzech tygodni o 13 procent)?
Jak dla mnie jest to raczej przykład ilustrujący, jak duży jest błąd badania opinii na ,,reprezentatywnych próbach 1000 polaków”.
Poddaje to pod dyskusje sensowność większości artykułów typu ,,temu wzrosło o 3% a temu spadło”.
I powinno być argumentem dla polityków każdej z partii, by nie patrzeć na to jak się zmieniają słupki poparcia, lecz robić swoje.
Lol 😉
>>Poddaje to pod dyskusje sensowność większości artykułów typu ,,temu wzrosło o 3% a temu spadło”.<<
Nie jest to zasadne z punktu widzenia statystyki, bo tak jak piszesz, błąd może być naprawdę duży. Jednakże biorąc pod uwagę fakt, że wyborcy nieświadomie bardzo ufają takim sondażom, a ludzie mają skłonność do przyjmowania wykresów i procentów jako prawdy objawionej, to okazuje się, że z punktu widzenia wybieranych zasadność publikowania wyników sondaży nabiera wielkiego znaczenia. Wystarczy bowiem zlecić wykonanie kilku niemiarodajnych sondaży i opublikować wynik, który jest najkorzystniejszy dla danej partii.
Ludzie widząc wynik sondażu nieświadomie podlegają kilku mechanizmom psychologicznym, jak np. "reguła dowodu społecznego" – po prostu głosując pójdą za domniemaną większością, bo w sondażach zwykle dwie partie górują, więc w praktyce wybór ogranicza się właściwie tylko do nich. Sondaże przedwyborcze są jednym z najprostszych technik wpływania na wynik wyborów.
Ok, dla różnych podmiotów różne działania są sensowne.
I idąc dalej, tak jak piszesz, z punktu widzenia partii politycznej zamiast płacić za badanie na 1000 osóbach lepiej zrobić dwa badania po 500 osób i wybrać korzystniejszy wynik.
Pomysł o którym piszesz dotyczy badań panelowych, które są prowadzone przez ośrodki badań opinii publicznej w których pytają o poparcie dla poszczególnych partii tych samych respondentów (bądź z próby zapasowej).
Sondaże, które prezentujesz są (chyba, proszę o weryfikację) przeprowadzane ad hoc na zlecenie danej stacji radiowej/telewizyjnej/portalu internetowego. Można by się temu przyjrzeć i weryfikować hipotezy o tym, że w danych mediach sondaże uwidaczniają którąś z partii.
A czy jest jakiś łatwy dostęp do wyników tych badań panelowych?
Dla większości ośrodków informacje o poparciu mam właśnie z mediów, bez zbyt szczegółowego opisu jak konstruowana była próba i na jakiej zasadzie porównywane są wyniki pomiędzy kolejnymi okresami.
Spodziewam się, że rożne ośrodki badania opinii prowadzą badania na zamówienie innych instytucji, być może bardziej szczegółowe, może na większych próbach. Ale do takich danych nie mam dostępu.
Pytanie więc z którym zostaję to czy wyniki sondaży prezentowane w mediach mają wartość.
Chyba dobrym sposobem na określenie jak duży jest komponent szumu byłoby skorelowanie wyników sondaży dla tej samej partii uzyskane przez różne ośrodki? Przemek, pamiętam Twój niedawny wpis pokazujący fluktuacje poparcia dla partii raportowany przez różne ośrodki i tam korelacja (na oko) nie była duża, a pewnie na ciągach zróżnicowanych byłaby jeszcze mniejsza. Duży skok w styczniu nie jest rzeczywisty i pewnie jest napędzany losowością próby, ale duży skok w styczniu w zestawieniu z dużym dołem w styczniu (ale raportowanym przez inny ośrodek) to jest chyba lepszy dowód na mocny szum w danych, nie?
Sugestia Michała prowadzi nas do meta-analizy danych z różnych sondażowni, jako narzędzia uzyskiwania bardziej wiarygodnych (robust) wyników – why not? Dopada mnie przy tej okazji bardziej generalna refleksja; dlaczego sondaże są (u nas?) robione na próbie typu rotating panel, zamiast na tych samych delikwentach? jeśli mamy monitorować zmiany w czasie, to zmiany delikwentów pytanych o opinie w kolejnych próbach muszą prowadzić do wzrostu szumu, poprzez proste dodanie wariancji związanej z sampling error. przy próbach powtarzanych na tych samych kolesiach – problem jest ewidentnie mniejszy. może być bias, ale trend powinien być daleko bardziej miarodajny. czy ktoś mi może powiedzieć, dlaczego takie elementarne zasady nie są przestrzegane w naszych sondażach? No i druga refleksja: skoro próby są tak bardzo obciążone, to dlaczego nie pobierać kilku niezależnych prób w tym samym czasie i wnioskować na podstawie kilku niezależnych próbek (nawet wyraźnie mniejszych niż konwencjonalne 1000), ale traktowanych jako niezależne próby z populacji x w czasie t?
Pracuję nad czymś takim, ucząc się przy okazji Shiny. Zobaczymy co z tego wyjdzie. Niestety jest tyle ciekawych rzeczy do zrobienia 😉
@smarterpoland Co do dostępności badań panelowych to sądzę, że mogłoby być to ciężkie, a szkoda…
@Maciej, pewnie żadna firma sama się nimi nie podzieli, ale swoją drogą to ciekawe ile kosztuje wykonanie badania na dobrze dobranej 1000 osobowej próbie.
Może ktoś z Was wie?