The PISA2003lite package is released. Let’s explore!

Today I’m going to show how to install PISA2003lite, what is inside and how to use this R package. Datasets from this package will be used to compare student performance in four math sub-areas across different countries.
At the end of the day we will find out in which areas top performers from different countries are stronger and in which they are weaker.

In the post ,,The PISA2009lite is released” an R package PISA2009lite with data from PISA 2009 was introduced. The same approach was applied to convert data from PISA 2003 into an R package. PISA (Programme for International Student Assessment) is a worldwide study focused on measuring scholastic performance on mathematics, science and reading of 15-year-old school pupils.
The study performed in 2003 was focused on mathematics. Note, that PISA 2012 was focused on mathematics as well, so it will be very interesting to compare results between both studies [when only date from PISA 2012 data become public].

The package PISA2003lite is on github, so to install it you just need

You will find three data sets in this package. These are: data from student questionnaire, school questionnaire and cognitive items.

Let's plot something! What about strong and weak sides in particular MATH sub-areas?
In this dataset the overall performance is represented by five plausible values: PV1MATH, PV2MATH, PV3MATH, PV4MATH, PV5MATH. But for each student also performance in four sub-scales is measured. These sub-scales are: Space and Shape, Change and Relationships, Uncertainty and Quantity (plausible values: PVxMATHx, x=1..5, y=1..4).

Let's find out how good are top performers in each country in different sub-scales.
For every country, let's calculate the 95% quantile of performance in every subscale.

Just few more lines to add the proper row- and col- names.

And here are results. Table looks nice, but there is so many numbers.
Let's use PCA to reduce dimensionality of the data.

plot of chunk unnamed-chunk-5

Quite interesting!
It looks like first PCA coordinate is an average over all sub-scales. Thus on the plot above the further left, the better are top performers in all sub-scales.
But the second PCA coordinate differentiates between countries in which top performers are better in 'Space and Shape' [top] versus ‘Uncertainty’ [bottom]. Compare this plot with the table above, and you will see that for Czech Republic, Slovak Republic, Russian Federation the 'Space and Shape' is the strongest side of top performers.
On the other side Sweden, USA, Norway, Ireland score higher in ‘Uncertainty’.

As you may easily check, that results are pretty similar if you focus on averages or performers from the bottom tail.

Which direction is better? Of course it depends. But since ,,change is the only sure thing'', understanding of uncertainty might be useful.

Raport o stanie bezpieczeństwa cyberprzestrzeni RP 2012

Krzysiek T. podesłał mi interesujący raport ,,Raport o stanie bezpieczeństwa cyberprzestrzeni RP 2012” (dostępny na tej stronie). Treść ciekawa ale miejscami przerażająca (nie sądziłem, że w 2012 roku kilkanaście procent stron rządowych jest podatnych na SQL-injection). Pod koniec raportu opisanych jest kilka przykładów udanych ataków, krótko pisząc ciekawa lektura.

Ale niestety pod kątem prezentacji danych niedopracowana.
Pomijam kwestię wykresów kołowych, które występują w różnych kolorach, rozdzielczościach i pod różnymi kątami (oczywiście w 3D, ale czasem bardziej płasko a czasem mniej). Wykresom kołowym mówimy dzisiaj stanowcze ‘nie’ i nie będziemy ich tu pokazywać. Za to poniżej pokażemy cztery wykresy z tego raportu, które mają na sumieniu poważniejszy błąd, niż fałszywa perspektywa utrudniająca odczytanie poprawne wartości i zależności.

Ten ciekawy wykres noszący tytuł ‘Źródła zgłoszonych incydentów’ uniemożliwia porównanie źródeł zgłoszonych incydentów [;-)]. Nie sposób odczytać z którego źródła pochodzi więcej zgłoszeń incydentów, ponieważ wszystkie sumują się do 100% (prawdopodobnie, ech ta perspektywa). W tej postaci trudno odczytać jakąś historię z tego wykresu. Nawet stwierdzenie, że zgłoszenia z systemów najczęściej były zgłaszane w drugim kwartale trudno jest obronić. Być może między kwartałami liczba zgłoszeń bardzo się różniła. Jest wykres, ale nie ma do niego historii.

Czytaj dalej Raport o stanie bezpieczeństwa cyberprzestrzeni RP 2012

The PISA2009lite package is released

This post introduces a new R package named PISA2009lite. I will show how to install this package, what is inside and how to use it.

Introduction

PISA (Programme for International Student Assessment) is a worldwide study focused on measuring performance of 15-year-old school pupils. More precisely, scholastic performance on mathematics, science and reading is measured in more than 500 000 pupils from 65 countries.

First PISA study was performed in 2000, second in 2003, and then in 2006, 2009 and the last one in 2012. Data from the last study will be made public on December 2013. Data from previous studies are accessible through the PISA website http://www.oecd.org/pisa/.
Note that this data set is quite large. This is why the PISA2009lite package will use more than 220MB of your disk [data sets are compressed on disk] and much more RAM [data sets will be decompressed after [lazy]loading to R].

Let's see some numbers. In PISA 2009 study, number of examined pupils: 515 958 (437 variables for each pupil), number of examined parents: 106 287 (no, their questions are not related to scholastic performance), number of schools from which pupils were sampled: 18 641. Pretty large, complex and interesting dataset!

On the official PISA webpage there are instructions how to read data from 2000-2009 studies into SAS and SPSS statistical packages. I am transforming these dataset to R packags, to make them easier to use for R users.
Right now, PISA2009lite is mature enough to share it. There are still many things to correct/improve/add. Fell free to point them [or fix them].

This is not the first attempt to get the PISA data available for R users. On the github you can find 'pisa' package maintained by Jason Bryer (https://github.com/jbryer/pisa) with data from PISA 2009 study.
But since I need data from all PISA editions, namely 2000, 2003, 2006, 2009 and 2012 I've decided to create few new packages, that will support consistent way to access data from different PISA studies.

Open the R session

The package is on github, so in order to install it you need just

now PISA2009lite is ready to be loaded

You will find five data sets in this package [actually ten, I will explain this later]. These are: data from student questionnaire, school questionnaire, parent questionnaire, cognitive items and scored cognitive items.

You can do a lot of things with these data sets. And I am going to show some examples in next posts.

Country ranking in just few lines of code

But as a warmer let's use it to calculate average performance in mathematics for each country.

Note that student2009$W_FSTUWT stands for sampling weights, student2009$PV1MATH stands for first plausible value from MATH scale while student2009$CNT stands for country

And plot it.

plot of chunk unnamed-chunk-6

Regionalizmy, jak je pięknie pokazać?

Dziś kontynuujemy temat ,,informacja jest piękna”.
Joshua Katz używając R i biblioteki Shiny przedstawił graficznie zróżnicowanie dialektów w Stanach Zjednoczonych.

Przykładowo mapa poniżej pokazuje obszary, w których na określenie gazowanego, słodzonego napoju używa się częściej słowa ‘soda’ (czerwony) ‘pop’ (niebieski) lub ‘coke’ (zielony) [pytanie 105].

Czytaj dalej Regionalizmy, jak je pięknie pokazać?

Test Cressie-Read, czyli jak mierzyć zależności pomiędzy parą zmiennych jakościowych

Po raz kolejny gościmy na blogu wpis Krzyśka Trajkowskiego [wielkie dzięki za wsparcie!!!]. Tym razem napisze on o teście Cressie-Read oraz przedstawi przykłady wywołania tego testu z pakietu CressieReadTest dla programu R. Warto zaznaczyć, że Krzysiek jest autorem tego pakietu.

Pakiet CressieReadTest można pobrać z tej strony.

Poniżej przedstawiony jest opis testu w formie strony html. Można też ten opis pobrać jako plik pdf z tej strony.

Statystyka Cressie-Read jest uogólnieniem kilku innych statystyk, popularnie wykorzystywanych w badaniu tablic kontyngencji dla dwóch zmiennych ilościowych. Warto więc się z nią zaznajomić.

Test Cressie-Read

Krzysztof Trajkowski

Czytaj dalej Test Cressie-Read, czyli jak mierzyć zależności pomiędzy parą zmiennych jakościowych

Czego najlepiej użyć do wizualizacji danych i analiz statystycznych?

Program R aspiruje do miana lidera zarówno jeżeli chodzi o statystyczną analizę danych jak i wizualizację danych.
Ale nie tylko R, podobne ambicje ma SAS [który zresztą przez długi czas był liderem jeżeli chodzi o analizy statystyczne], Stata, SPSS, Statistica, toolboxy Pythona, Matlaba, Mathematica, Gretla, Weki, Orange, Java, Julia, biblioteka D3 i dziesiątek innych większych i mniejszych pakietów czy bibliotek.

Które z tych narzędzi jest prawdziwym liderem?

Za miesiąc, 10 lipca, w Hiszpanii będzie miała miejsce kolejna coroczna konferencja użytkowników R o nazwie useR!
W tym roku podczas konferencji organizowane są dwa konkursy, na najlepszą wizualizację danych i najtrafniejsze analizy danych wykonane z użyciem programu R.

Co będzie wynikiem tego konkursu? Otóż zobaczymy czy pasjonaci R stworzą wizualizacje i analizy danych, które rzucą użytkowników innych pakietów na kolana.

Więcej o regułach konkursu przeczytać można tutaj lub tutaj.

Analizy i wizualizacja powinny dotyczyć jednego lub dwóch zbiorów danych przygotowanych przez organizatorów. Jeden dotyczy trzech sezonów formuły 1. Drugi zbiór danych dotyczy pięciu sezonów ligi piłki nożnej w Hiszpanii.

Co Polska importuje a co eksportuje?

Kilka dni temu Alek J. podesłał mi ciekawy projekt wykonany przez MIT media lab (link do media labu, tak, MIT, jedna z najlepszych na świecie uczelni technicznych, ma media lab pracujący nad technikami wizualizacji danych. Co więcej to w MIT powstał pierwszy media lab).

Projekt nazywa się ,,The Observatory of Economic Complexity”, pozwala na przedstawienie wymiany produktów pomiędzy państwami, przedstawienie w bardzo prosty i interesujący sposób.

Ten portal pozwala na zobaczenie jak wygląda struktura importu, eksportu rozmaitych krajów w różnych latach.

Świetnie przygotowana praca magisterska [!!!] udostępniona na wolnej licencji.