Parsowanie stron HTML, meta-analiza, rak jelita i oczywiście obrazek

2 lis
2011

Dostałem dzisiaj pytanie od Macieja B. o kod użyty do wyciągania danych z portalu otomoto.pl.
Jak będę miał chwilę to ten kod wygładzę i opiszę na blogu, ale przy okazji dziś wpadłem na ciekawą funkcję służącą do parsowania danych, więc się nią podzielę.

Chodzi o funkcję readHTMLTable() z pakietu XML. Pozwala ona na wyciągnięcie danych z pliku HTML i wczytanie ich automatycznie do R.
Cool!
Jako przykład wykorzystamy zbiór danych o zachorowalności na nowotwór jelit w Wielkiej Brytanii, więcej o tym zbiorze danych i jego analizie przeczytać można na stronie http://blog.ouseful.info/2011/10/31/power-tools-for-aspiring-data-journalists-r/.

Poniższy fragment kodu wczytuje dane bezpośrednio ze strony HTML, dodaje nazwy kolumn i zmienia typy na liczbowe.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
library(XML)
#
# funkcja readHTMLTable wyciaga tabele z danymi z pliku HTML
cancerdata <- readHTMLTable('http://www.guardian.co.uk/commentisfree/2011/oct/28/bad-science-diy-data-analysis', which=1)
colnames(cancerdata) <- c('Area','Rate','Population','Number')
for (i in 2:4) cancerdata[,i] <- as.numeric(as.character(cancerdata[,i]))
 
> # zobaczmy podsumwoanie wczytanych danych
> summary(cancerdata)
            Area          Rate         Population          Number      
 Aberdeen     :  1   Min.   : 9.16   Min.   :  31332   Min.   :  6.00  
 Aberdeenshire:  1   1st Qu.:15.22   1st Qu.: 140110   1st Qu.: 24.00  
 Adur         :  1   Median :17.44   Median : 189202   Median : 32.00  
 Allerdale    :  1   Mean   :17.64   Mean   : 224741   Mean   : 39.61  
 Amber Valley :  1   3rd Qu.:19.89   3rd Qu.: 267794   3rd Qu.: 45.00  
 Angus        :  1   Max.   :31.09   Max.   :1268959   Max.   :251.00  
 (Other)      :373

Skoro już ten zbiór danych wczytaliśmy to może jeszcze słowo komentarza skąd meta-analiza w nazwie tego wpisu. Zacznijmy od przedstawienia częstość zachorowań na nowotwór jelit na 100 tys mieszkańców a liczbę osób zamieszkałych na obszarze w którym ta częstość jest liczona.

1
2
3
4
5
6
7
8
library(lattice)
#
# wykres czestosci zachorowan od rozmiaru populacji
ktoreZNazwy <- with(cancerdata, Population^0.25 * Rate > 560 | Rate >= 27)
xyplot(Rate~Population, data = cancerdata, pch=19, col="red", panel=function(...) {
	panel.xyplot(...)
	with(cancerdata, ltext(Population[ktoreZNazwy], Rate[ktoreZNazwy], Area[ktoreZNazwy], cex=0.8, adj=c(0,-0.5)))
})

Dla małych miejscowości ocena częstości zachorowań obarczona jest większą przypadkowością, jeżeli mamy miasto o 100 mieszkańcach i jeden zachoruje to unormowana częstość skacze do 1000 na 100 tys. nawet jeżeli nie jest to obszar szczególnie narażony na podwyższone ryzyko. Dla zaludnionych obszarów takie losowe fluktuacje mają mały wpływ. Zmierza to w kierunku meta-analizy w której na podstawie pomiarów z wielu obszarów ocenilibyśmy oczekiwaną zmienność dla obszaru o zadanym zaludnieniu i porównywali ją z obserwowaną wartością, tutaj zachorowalności, na danym obszarze.

Na powyższym wykresie widać, że patrząc na częstość zachorowań Glasgow ma podobną zachorowalność jak Orkney Islands, ale jeżeli dodatkowo uwzględni się liczbę osób zamieszkałych na obu obszarach to Orkney Islands ma zachorowalność mieszczącą się w granicach losowych fluktuacji, a dla Glasgow zachorowalność ta jest znacząco powyżej oczekiwanej na bazie pomiarów z całego kraju. Ciekawe prawda. Kiedyś o meta-analizie napiszę więcej, bo warto. Co ciekawe o wykresie tunelowym (funnel-plot) bez skrępowania piszą w Wielkiej Brytanii takie gazety jak Guardian (http://www.guardian.co.uk/commentisfree/2011/oct/28/bad-science-diy-data-analysis). Jak widać nawet duże dzienniki mogą serwować rzetelne informacje a nie tylko plotki o tym co nowego u celebrytów.

 




2 Responses to Parsowanie stron HTML, meta-analiza, rak jelita i oczywiście obrazek

Avatar

Analfabeta

Styczeń 3rd, 2012 at 21:32

Wget, mechanize, curl czy po prostu API otomoto? :)
Czekamy z niecierpliwością na kod. Niekoniecznie wygładzony :)

Avatar

smarterpoland

Styczeń 4th, 2012 at 11:35

Perl z bardzo podstawowym i ręcznym parsowaniem kodu HTML. Własnie skończyła się ściągać druga porcja danych o cenach aut, będzie to okazja do pokazania kodu parsera. Odpowiedni wpis powinien pojawić się jutro.

Comment Form

top