W poniedziałkowym wpisie (link tutaj) przedstawiłem zasady wciąż trwającego konkursu na wyśledzenie złych/błędnych/zmanipulowanych grafik. Wygrać można wiele ciekawych gadżetów i wciąż zapraszam do wzięcia w nim udziału.
Dziś przedstawię znalezisko, które zgarnęło kilka gadżetów, ponieważ aż trudno było mi uwierzyć ile błędów można znaleźć na jednym wykresie przedstawiającym 5 liczb.
Ale zanim pokażę ten wykres zacznę od krótkiego komentarza. Prezentując podczas rożnych okazji źle wykonane wykresy staram się (może niesłusznie) tłumaczyć ich autorów. Że temat porównywania średnich cen mieszkań jest trudny i być może autor przedstawił wyniki błędnie nieumyślnie. Że porównywanie rozkładów ocen to trudny temat i być może autor przedstawił te wyniki tak nieumyślnie. Że … itp. Gdy do czynienia ma się ze złożonymi danymi, np. ekonomicznymi czy medycznymi to o pomyłkę czy przeoczenie jest dosyć łatwo, ponieważ zmiennych jest dużo, zależą one od siebie w często złożony sposób itp. Łatwo więc zrzucić odpowiedzialność za błędy w takich analizach na pośpiech, brak doświadczenia czy brak ,,drugiego czytania”.
Inaczej ma się rzecz z wynikami poparcia dla partii politycznych. Tutaj struktura danych jest prosta jak drut. Zapytano o zdanie 1000 osób z czego X odpowiedziało tak, Y inaczej itp. Mój sąsiad czterolatek potrafi liczyć do 1000, więc chodząc do przedszkola jest w stanie przeprowadzić podstawową analizę takich danych. Tymczasem ,,analitycy” mają przy takich analizach zaskakujące wnioski. (Ok poparcie liczy się ciut bardziej skomplikowanie ponieważ stosuje się jeszcze wagi w zależności od reprezentatywności, ale nie jest to duża komplikacja).
Tym razem chodzi o artykuł z ,,portalu informacyjnego” tvn24.pl ,,Platformie ciągle spada”. Przedstawiono w tym artykule taki oto wykres:
W którym wyniki poparcia mierzone w lutym 2012 są porównywane z wynikami poparcia ze stycznia 2012. Na tej samej stronie jest nawet odnośnik do artykułu ze stycznia o wdzięcznym tytule ,,PO i PiS mocniejsze. Spada Palikotowi” w którym umieszczono taki wykres (w styczniu przeprowadzono wiele różnych badań, ale skoro to akurat jest linkowane więc można by je uznać za referencyjne).
Słów brakuje … spróbujmy jednak nazwać trzy główne grzechy (porównując artykuły z 13 stycznia i 13 lutego procenty się zgadzają i poniższe trzy punkty są nieaktualne)
- Tytuł ,,PO ciągle spada” ma się nijak do obserwacji, że miesiąc wcześniej PO poparcie wzrastało (przynajmniej według prezentowanego sondażu),
- spadek poparcia dla PO z 37% do 33% to nijak nie jest spadek o 7%,
- w przypadku PIS było w styczniu 22% jest w lutym 19% i dodany jest komentarz, że jest to wzrost o 1%.
Kilka dodatkowych kliknięć doprowadziło mnie do dwóch innych wyników dot. poparcia prezentowanego w serwisie tvn24.pl w lutym i styczniu. Poniżej przedstawiam chronologicznie artykuły, ich tytuły, informację o poparciu oraz jego zmianie dla trzech pierwszych partii.
- 13 styczeń godzina 13, PO 40 (-3), PIS 18(-3), RP 8(+2) ,,PO i PiS spada poparcie, ale obu po równo.”,
- 27 styczeń godzina 7, PO 37 (+1), PIS 22(+3), RP 8(-2) ,,PO i PiS mocniejsze. Spada Palikotowi”,
- 27 styczeń godzina 20, PO 33(-5), PiS 22(+2), RP 13(+1) ,,Spada poparcie dla platformy, PIS lekko w górę”,
- 9 luty przed godzina 21, PO 27(-6), PIS 22, RP 17 (+4) ,,PO ostro w dół, zyskują Palikot, Ziobro i Miller”,
- 13 luty godzina 13, PO 33(-7), PIS 19(+1), RP 9(+1) ,,Platformie ciągle spada”.
Ja rozumiem, że wyniki sondażowe obarczone są dużą zmiennością, ale czekam na czasy kiedy dotrze to też do dziennikarzy i skończą się komentarze typu ,,na reprezentatywnej próbie 1000 polaków …”. oraz ,,ostro w dół i ostro w górę”
Ciekawe, że pokazując sondaż jednej firmy (TNS OBOP) odnoszą się do sondażu przeprowadzonego przez drugą (CBOS). A co do ostatniego „ostro w dół i ostro w górę” pewnie nie skończą, bo ludzie widząc coś takiego wchodzą na stronę = klikają w linki = pieniądze (pewnie z AdWords). 🙂
Trudno, nie ma co się „pirzyć”. Informacje dla „ludu” zawsze będą tak wyglądały. I nie od dziś tak wyglądają. Markiz de Custine pisał w 1829 roku (sic!): „Społeczeństwo zginie, bo zaufało słowom pozbawionym sensu lub sprzecznym – a wówczas zwodnicze echa opinii, dzienniki, chcąc za wszelką cenę utrzymać czytelników, popchną do przewrotu, choćby po to, by mieć coś do opowiadania jeszcze przez miesiąc – zabiją społeczeństwo, żeby żywić się jego trupem”.
Jak w 1839, tak w 2012. I zapewne w 2212… Pozostaje zaufanie do własnego rozumu. I do blogu @smarterpoland….
Może media powinny wreszcie brać pod uwagę że takie sondaże mają błąd rzędu o ile dobrze pamiętam 3%, tymczasem wystarczy aby jednej partii wzrosło w tydzień o 1% a drugiej o tyleż spadło i już jest temat do rozmów i wywiadów, bo co też się takiego stało, że niby poparcie się zmienia.
A co do konkursu – widziałem niedawno coś coby tu pasowało.
Na „pewnych” portalach o intensywnych zacięciu politycznym wielu takim sondażom zarzuca się celową manipulację. W teorie spiskowe nie wierze i jestem przekonany, że takie podejście do tematu wynika z kilku czynników:
1) Zwykłej niedbałości i pośpiechu – wszak trzeba odbiorców czymś nakarmić
2) Brakiem wiedzy z podstaw statystyki, analizy danych i wizualizacji informacji
3) Szukaniem czegokolwiek, bo przecież jak nie my, to konkurencja pojawi się z czymś sensacyjnym.
Powyższe punkty nie są rezultatem systematycznej obserwacji, a raczej chwilowej refleksji nad Twoim postem 🙂
Czy te wykresy i tytuły są wynikiem świadomej manipulacji, czy niechlujstwa, czy pogoni za sensacją, czy są desperacką próbą zwiększenia liczby kliknięć … dla mnie to nie ma zanczenia.
Dla mnie istotne jest tylko to, że informacja jest prezentowana w sposób nierzetelny.
Jakiś czas temu pudelek pisał o ,,pudelaryzacji” rodzimych ,,serwisów informacyjnych”.
I jest to zjawisko z którym moim zdaniem należy walczyć jak się tylko da, na przykład kolekcjonując i przedstawiając co ciekawsze ,,kwiatki”.
Ciekawym projektem, może nawet świetnie nadającym się na jakiś hakaton, byłaby próba ilościowej oceny rzetelności ,,portali informacyjnych”.
Ile w nich jest artykułów sponsorowanych, ile taniej sensacji, ile słabych przedruków z innych portali.
Nie mam jeszcze sprecyzowanego pomysłu jak zapewnić możliwie duży obiektywizm takiej oceny, ale myślę, że jest sporo osób rozpaczliwie szukających źródła rzetelnej informacji.
Tworząc konsumencki ranking obnażający ilość tandety może dałoby się podnieść trochę jakość artykułów na przynajmniej niektórych portalach.
Kiepska jakość artykułów wynika z redukcji kosztów. Bo przecież za porządny artykuł trzeba byłoby zapłacić sporo. A tak bierze się praktykantów, którzy mają coś na wczoraj napisać – wszystkim się śpieszy, bo sensację trzeba opublikować natychmiast. Lepiej chyba nie będzie, przynajmniej dopóki informacje będą za darmo.
Dziennikarze na ogół nie mają pojęcia o prezentacji danych. Na pewnej uczelni rada wydziału nie zgodziła się na seminarium z metod prezentacji danych dla studentów dziennikarstwa. Powód? To są przecież humaniści! To niepotrzebne!
Drogi Autorze,
tym razem jednak strzeliłeś kulą w płot 🙁 Przy złej woli oczywiście można byłoby się natrząsać, że manipulujesz itp. Ale to byłoby nadużycie.
W omawianym przez Ciebie artykule zaraz po śródtytule jest zdanie „W lutym notowania PO pogorszyły się o 7 punktów proc. (w porównaniu z sondażem CBOS ze stycznia).” I to zdanie wyraźnie linkuje do starszego artykułu, przedstawiającego wyniki poprzedniego badanie CBOS. Kiedy zestawisz wyniki z obu badań wszystkie Twoje zastrzeżenia się rozwiewają…
Z wielu powodów nie można porównywać ze sobą wyników badań wykonywanych przez różne „sondażownie”, a to właśnie zrobiłeś, na dodatek zarzucając autorom artykułu, że nie potrafią liczyć. Pora chyba przeprosić…
Nie sugerowałem, że autorzy nie umieją odejmować, tylko że szukają taniej sensacji bazując na chwilowych wahnięciach, nierzetelnie w dodatku pokazując te chwilowe wahnięcia.
Przyznaję (i dzięki Ci za zwrócenie na to uwagi), że istnieje istnieje raport z którym można się porównać by wyszły odpowiednie różnice.
Trochę to dziwne, że rysunek który znajduje się obok śródtytułu pokazuje wyniki innego sondażu niż podlinkowany.
W każdym razie odpowiednie ,,łagodzące” zmiany we wpisie już wprowadzam.
W ciągu jednego miesiąca na stronach portalu tvn pojawiło się 5 wyników sondaży w których poparcie dla PO skacze od 27 do 40%. Stwierdzenie w tytule artykułu ,,ciągle spada” gdy w stosunku do danych sprzed 4 dni gdzie jest +6 procent trudno uznać za poważne.
Można oczywiście uznać że to wyniki z sondaży robionych przez różne ośrodki i nie można porównywać wyników z OBOPu z innymi. Ale w takim razie albo 1) jeden z tych ośrodków źle mierzy i nie ma sensu go pokazywać, albo 2) zmienność jest tak duża że różnice o 7 % nie są niczym zaskakującym i w takim razie nie ma co dawać tytułów ,,ostro w dół” albo ,,ciągle w dół”.
I jeszcze brakujące słowo przepraszam za brak odnośnika do opowiedniego artykułu (z 13 stycznia). Już dodałem.
I komentarz co do porównywania wyników z różnych sondaży. Można oczywiście umyć ręce i stwierdzić że formalnie wszystko się zgadza i było 40% a jest 37% więc jest ciągle w dół.
Ale takie tytuły i treści porównujące kolejne procenty można generować automatycznie. Od dziennikarzy raczej oczekiwałbym szerszego spojrzenia na sprawę poparcia.