,,Dzieci sieci” a konstruktywna krytyka

Prowadzę roczne seminarium licencjackie na którym zachęcam studentów do konstruktywnej krytyki referatów kolegów. Nie jest proste taką krytykę dawać i nie jest prosto taką krytykę odbierać. Poćwiczę dziś na przykładzie raportu ,,Dzieci Sieci”.

Do tego wyboru skłoniło mnie przeczytanie wpisu na blogu Emanuela Kulczyckiego ,,Dzieci sieci i krytyka na blogach naukowych”, w którym pisze on o licznej krytyce tego raportu (którego jest współautorem) ale jest zadowolony, że raport jest szeroko dyskutowany.

Ale jak wyglądają te dyskusje? Niestety zdarzają się też takie jak anonimowy komentarz pod ww. wpisem
,,WSTYD publikować TO w sieci promując ten tekst stopniami dr. Wiele osób znajdzie potwierdzenie w słowach nauka zeszła na psy…”
Zdarzają się też inne, dziwne. Np. we wpisie ,,Dzieci sieci ciąg dalszy” znalazłem przedruk komentarza do wpisu ,,rodzice w realu dzieci w sieci”
,,Do statystyk nie należy się po prostu przywiązywać, to znaczy nie należy ich traktować jako wskaźnik reprezentatywności badania.”
Jest to cytat z odpowiedzi koordynatora badania na krytykę. Sam koordynator o raporcie pisze na swoim blogu we wpisie o wile mówiącym tytule ,,Naukowiec jako PRowiec amator”.

Spróbujmy podejść do tematu na poważnie. Reszta wpisu to próba udzielenia konstruktywnej krytyki dotyczącej trzech wybranych aspektów z tego raportu. Może się przydadzą w opracowaniu zapowiadanej wersji 2.0. Może przydadzą się też innym.

Niereprezentatywna próba

W pierwszym rozdziale autorzy badają, czy ,,dzieci sieci” w wieku w przedziale 9-13 lat potrafią rozwiązać zadanie
,,Posługując się internetem jako źródłem informacji, wskaż, kto jest reżyserem i scenarzystą filmu Shrek”.

Okazuje się, że 19 z 30 badanych dzieci potrafi to zadanie poprawnie wykonać.
I tu trafiamy na pierwszy problem, o którym piszą sami autorzy — niereprezentatywna próba.
W różnych komentarzach pojawiała się dyskusja czy próba jest mała czy bardzo mała i czy można używać narzędzi do analizy ilościowej. Ale zabrakło komentarzy dotyczących konsekwencji badania tak małej próby.

A jakie są konsekwencje? Gdybyśmy chcieli odpowiedzieć na pytanie ,,Jaki procent ,,dzieci sieci” potrafi wykonać zadanie wyszukania reżysera Shreka”, to na bazie obserwacji ,,19 pozytywnych na 30 badanych” z 95% pewnością możemy stwierdzić, że ten procent jest w przedziale od 44% do 79% (taki jest przedział ufności dla próby prostej).
Czyli, może mniej niż połowa a może prawie 4/5.
To, jak szeroki jest ten przedział, jasno pokazuje, że dla tak małej próby niewiele można wywnioskować.
A ten przedział wyznaczono przy założeniu próby prostej, odpowiednio wylosowanej. Jeżeli badacze nie wylosowali próby odpowiednio, to błąd pomiaru może być znacznie większy.

Zaskakująco wygląda liczba przebadanych dzieci (30) w porównaniu do liczby autorów badania. Zespół badawczy składał się z 9 badaczy wspomaganych przez 3 konsultantów. Wydaje się więc, że wspólnymi siłami badacze mogli trafić do większej liczby dzieci.

Na przyszłość: należy dołożyć wysiłków by próba była liczniejsza i reprezentatywna.

Dobry wykres jest wart 1000 słów, ale zły…

W całym 177 stronicowym raporcie znaleźć można jeden wykres. Akurat przedstawia on wyniki z zadania o Shreku. W naturalny sposób zwrócił moją uwagę, ponieważ wizualizacja danych bardzo mnie interesuje.

Wykres przedstawia (?) zależność pomiędzy prawidłową odpowiedzią a wiekiem respondenta.
Dużą zagadką dla mnie było, jak odczytać ten wykres.
Jeżeli lubicie zagadki to spróbujcie sami odcyfrować poniższy wykres.

Dane, które ten wykres przedstawia to (najprawdopodobniej, nie jest to wprost napisane) wiek i informacja czy uczeń wykonał poprawnie zadanie dla 30 badanych.

Najprawdopodobniej (to też nie jest wprost napisane) poprawność rozwiązania badania jest kodowana jako 0-1: czy odpowiedział poprawnie czy nie. Z opisu wynika, że prawidłową odpowiedź wskazało 19 osób.

Czy już wiecie jak czytać ten wykres?

Poniżej jest mój domysł, choć jest mało prawdopodobny, trudno mi znaleźć inny.
Wydaje mi się, że na osi OX są kolejne osoby ,,posortowane” po wieku. Pasek morskiego koloru pokazuje wiek danego respondenta. Pasek pomarańczowy jest na wysokości morskiego, jeżeli respondent odpowiedział źle i jest o jedno ,,oczko” wyżej jeżeli odpowiedział dobrze.
Na rysunku jest 19 pozycji w których pomarańczowy jest wyżej niż morski i 11 pozycji w których te paski się przecinają, więc chyba się zgadza.

Pominę komentarze dotyczące skali OY czy braku skali dla paska pomarańczowego, bo tego wykresu nie da się raczej uratować. Nieistotne charakterystyki (numer badanego) zamazują obraz, istotne (odpowiedź na pytanie) nie są przedstawiane w sposób czytelny.

Na przyszłość: Można zrobić histogramy ,,back-to-back” wieku osobno dla osób, które odpowiedziały dobrze i osobno dla takich co odpowiedziały źle, albo tabelkę z liczbami.

Dwie formy tego samego badania powinny być spójne

Do 177 stronicowego raportu dołączono streszczenie w postaci ,,przykuwającego uwagę” mashup’u.
W tym streszczeniu są takie stwierdzenia: ,,Wszystkie treści na stronie głównej Onet.pl ,,dzieci sieci” traktują jako prawdziwe”, ,,Poproszone o wskazanie odnośników do informacji, które mogłyby być nieprawdziwe, zmyślone lub zafałszowane, nie tylko były wstanie wykonać zadania ale często go nie rozumiały”.

Można z tych komentarzy przypuszczać, że wszystkie z 30 przebadanych dzieci mają wskazany problem.

Tymczasem w raporcie (strona 27) jest napisane
,,Zadanie sprawiło naszym rozmówcom trudności. Spośród 30 respondentów, 9 – głównie tych najmłodszych –
miało problemy ze zrozumieniem zadania i nie było w stanie go wykonać lub stwierdziło, że na stronie nie ma takich informacji … Tylko 7 dzieci wskazało konkretne artykuły, uzasadniając (nie zawsze trafnie), co budzi ich wątpliwości”

Czyli większość z przebadanych dzieci (21) jakieś treści wskazało jako budzące wątpliwości 7 z nich wskazało konkretne artykuły.

Na przyszłość: W streszczeniu najlepiej cytować wypowiedzi z pełnego raportu, łatwiej będzie zachować spójność.