Co nowego w ,,Przewodnik po pakiecie R – wydanie 4.0”?

Przewodnik1234okladka
Czwarte wydanie ,,Przewodnika po pakiecie R” trafiło do księgarń w połowie grudnia. Pierwszy nakład był mały i szybko się skończył, ale od połowy stycznia Przewodnik jest ponownie dostępny.
A ja mam trochę czasu by napisać co nowego można znaleźć w czwartym wydaniu.

Zmian jest wiele. Kierunki zmian są dwa. Po pierwsze, obniżyć próg wejścia dla osób, które dopiero zaczynają przygodę z analizą danych. Łagodnym wprowadzeniem w temat są pierwsze dwa rozdziały. W upraszczaniu tej części przydały się doświadczenia z Pogromców Danych (2000+ osób) i z różnych szkoleń dla nie-programistów.
Drugi kierunek zmian to szersze wprowadzenie do pakietów z grupy tidyverse oraz ułatwień, które oferuje RStudio. Weterani R mają różne ulubione edytory i rozwiązania codziennych problemów, ale dla osób rozpoczynających przygodę z pewnością najefektywniejszą drogą wejścia jest połączenie RStudio i pakietów z tidyverse. Również osoby pracujące z R od lat mogą z zaskoczeniem odkryć, że praca z datami jest bardzo prosta dzięki pakietowi lubridate (ok, lubridate ma już kilka lat na karku) lub że praca z czynnikami jest prosta dzięki pakietowi forcats.

Wzorem poprzednich wydań, pierwsze 3 rozdziały (150 stron) są dostępne bezpłatnie jako pdf online tutaj.

Rozdział 1 – Wprowadzenie
W pierwszym rozdziale znajduje się krótki opis narzędzia jakim jest język R i edytor RStudio.
Zaczynam od pytania ,,Dlaczego warto poznać R?”,
Czytelnik może zapoznać się z przykładowymi fragmentami kodu R do pobierania danych z internetu (z nadzieją na reakcję czytelnika ,,WoW, to się da zrobić w 5 linijkach! Ja też tak chcę!!!”), wizualizacji pobranych danych oraz prostego modelowania statystycznego. Wszystko w zaledwie kilku linijkach kodu, możliwe dzięki dużej ekspresji języka.
Jeżeli ktoś jeszcze nie wie, czy praca z R jest dla niego, ten rozdział pomoże podjąć decyzję.
Jest tutaj też krótka historia rozwoju R, od początków S po lawinowy rozwój R w ostatnich latach/miesiącach.

Czytaj dalej Co nowego w ,,Przewodnik po pakiecie R – wydanie 4.0”?

Odkrywać! Ujawniać! Objaśniać!

eseje
W listopadzie mamy wiele akcji wydawniczych. Kilka dni temu pisałem o tym, że do księgarni trafiają Muffinki – bogato ilustrowane opowiadania statystyczne dla dzieci.
A w tę sobotę do księgarni wrócił ,,Zbiór esejów o sztuce prezentowania danych Odkrywać! Ujawniać! Objaśniać!” Akurat dostaliśmy z drukarni kolejny metr sześcienny książek. W sam raz na święta.

Cała książka jest dostępna w formacie html tutaj. Wersję papierową można kupić w tych księgarniach.

A co znajduje się w kolejnych rozdziałach?

Perełki z historii – Zobaczcie jak wyglądała słynna Róża Nightingale, wykres który uratował tysiące ludzkich istnień. Co tak naprawdę w Człowieku witruwiańskim zakodował Da Vinci? Jakimi wykresami Otton Neurath chciał edukować społeczeństwo.

Percepcja obrazu – Czym różni się plamka ślepa od żółtej oraz dlaczego przy słabym świetle trudno trafić w dziurkę od klucza. Dlaczego na łodziach podwodnych jest czerwone oświetlenie. Co łączy dentystę i dietetyka?

Percepcja kolorów – Dlaczego nie widzimy w podczerwieni ani ultrafiolecie, choć niektóre owady i węże potrafią. Co można odczytać z wykresu chromatyczności i jak pomóc kolegom z deuteranomalią.

Percepcja danych – Jak wygląda Rachunek od państwa 2012? Dlaczego tak trudno czytać wyniki sondaży? Dlaczego tak trudno radzić sobie z niepewnością?

okladka-724x1024

Od kuchni – Dlaczego wykres mozaikowy jest świetny choć rzadko stosowany? Co widać w twarzach Chernoffa? Dlaczego dobre garnki to nie wszystko?

Info-pomyłka – Jaki nie dać się zwieść słupkom, kątom, i dziwnym osiom.

Droga – Jak bawić się prezentacją danych. I to nie tylko na komputerze.

Gramatyka – Do ilu można liczyć w języku plemienia Pirahã? Jak składać wykresy w pakiecie ggplot2? Czym charakteryzuje się polski rozkład normalny?

Miłej lektury!

RBioMeSs – R, uczenie maszynowe, statystyka medyczna i bioinformatyka

masterR

TL;DR: 24 listopada, w ramach Spotkań Entuzjastów R, odbędzie się spotkanie poświęcone R, bioinformatyce i statystyce medycznej. Więcej informacji tutaj.

LV:
Rozmawiałem ostatnio ze znajomym o ciekawych wyzwaniach związanych z analizą dużych danych. Zaczęło się od wyników w obszarze sieci konwolucyjnych i deep learningu ale zbaczaliśmy na różne tematy gdzie dane są niemałe a wyzwania być może i większe.
Gdy myśleć o klasyfikacji obrazów o rozmiarach 64×64 piksele (4096 piksle) to o ileż bardziej złożona jest predykcja losów pacjenta na bazie ekspresji dla 20 tysięcy genów czy informacji o stanie mutacji/metylacji dla milionów sond (miliony markerów dla każdego pacjenta! to już jest wysokowymiarowa przestrzeń).

Czytaj dalej RBioMeSs – R, uczenie maszynowe, statystyka medyczna i bioinformatyka

Nagrania z ICML 2016

Przeglądając zaległe wiadomości z wakacji trafiłem na link do nagrań referatów i warsztatów z konferencji International Conference on Machine Learning (ICML). Są one dostępne na stronie http://techtalks.tv/icml/2016/.

Dlaczego warto się im przyjrzeć? Susan Athey określiła ICML jako Hottest conference in the hottest area (oczywiście różne obszary są gorętsze dla różnych osób). Referatów jest wiele, póki co obejrzałem tylko sesje plenarne (te zazwyczaj są bardzo dobre lub wyśmienite).

Do gustu przypadły mi referaty o analizie dużych grafów Mining Large Graphs: Patterns, Anomalies, and Fraud Detection, analizie obrazu A Quest for Visual Intelligence in Computers i referat o analizie przyczynowo skutkowej Causal Inference for Policy Evaluation (trzy na pięć).

Wszystkich nagrań jest bardzo wiele, ale jeżeli znacie jakieś warte polecenia to śmiało sugerujcie w komentarzach.

SER 17 – laRge scale

masterR
Już w ten czwartek kolejne Spotkanie Entuzjastów R. Tym razem trzy prezentacje, każda o czymś innym, ale z jedną wspólną ceną – każda będzie bardzo ciekawa.

Filip Stachura z Appsilonu opowie o ,,RTVS: how Microsoft has copied RStudio? First-hand experience”. Lata minęły odkąd ostatni raz korzystałem z Visual Studio. Czy ta wtyczka do R spowoduje, że wrócę do tego narzędzia? Zobaczymy. A w ogóle to Visual Studio jest dostępne za darmo, nieźle.

Wit Jakuczun z WLOG Solutions przedstawi referat ,,R+H2O – idealny tandem do analityki predykcyjnej?”. Na poprzednim i jeszcze poprzednim useR biblioteki H2O były jednym z najgorętszych tematów wśród modelarzy. Co nam o nich opowie Wit?

Maciek Klimek i Robert Bogucki z CodiLime przedstawią referat ,,Which whale is it, anyway? Rozpoznawanie waleni biskajskich przy pomocy deep learningu”. Mam nadzieję, że te referat otworzy pudełko z kolejnymi referatami poświęconymi naprawdę zaawansowanym metodom we współczesnym Deep/Machine Learning.

Jeżeli chcecie przyjść (a jak widzicie warto) i chcecie by wystarczyło dla was pizzy to zarejestrujcie się tutaj http://meetup.com/Spotkania-Entuzjastow-R-Warsaw-R-Users-Group-Meetup/.

OMatKo!!!

logo

Takie inicjatywy lubimy.
OMatKo!!! to III Ogólnopolska Matematyczna Konferencja Studentów.
Poniżej zaproszenie od organizatorów.

Rok akademicki ma to do siebie, że w jego trakcie czas płynie w zastraszającym tempie.
Dlatego, wbrew pozorom, zbliżająca się wielkimi krokami kwietniowa konferencja OMatKo!!! (Ogólnopolska Matematyczna Konferencja Studentów) nie jest wcale tak odległym terminem. W natłoku obowiązków, zajęć i innych projektów warto już teraz zakreślić sobie w kalendarzu trzeci weekend kwietnia – to jest 15-17. 04.2016r.

Czytaj dalej OMatKo!!!

GeCONiI – jak budować pakiety, reprodukowalne raporty i aplikacje webowe w R


W poprzednim tygodniu miałem przyjemność prowadzić szkolenie dotyczące różnych ciekawych inżynierskich aspektów programowania w R. Szkolenie było prowadzone dla Akademii GeCONiI na Politechnice Śląskiej.
Dzięki uprzejmości organizatorów mogę podzielić się materiałami ze szkolenia.

Całość jest dostępna na stronie GitHub a poszczególne tematy można znaleźć pod poniższymi linkami

* Budowa pakietów z użyciem devtools
* Odtwarzalne obliczenia, czyli pakiet knitr i archivist
* Jak budować aplikacje webowe, czyli słów kilka o shiny
* Debugowanie i profilowanie kodu R
* Budowa serwisów opartych o pakiet opencpu

Jak kształcić Data Scientists / Badaczy Danych?

masterR
W drugiej połowie października miałem przyjemność uczestniczyć w trzech wydarzeniach, które z bardzo różnych perspektyw dotykały tytułowego pytania. Jedno z tych wydarzeń to biznesowa konferencja Think Big Congress BigData CEE. Badacze danych występowali głównie w roli poszukiwanego zasobu. Drugim, była konferencja Badania w edukacji organizowana przez IBE. Spotkanie osób zainteresowanych badaniami w edukacji, nauczaniem w tym również nauczaniem matematyki/informatyki. Dominowały tematy związane ze szkołą podstawową i średnią, ale w kuluarach można było też powymieniać się doświadczeniami z nauczania na uczeniach wyższych. Trzecim wydarzeniem był ostatni SER, na który przyszło wiele osób pracujących z danymi na co dzień. Przyszło powymieniać się nowinkami co tam w trawie piszczy.
Tak się też składa, że prowadząc zajęcia na MIM UW i MiNI PW mam jakiś wpływ na kształcenie czy to statystyków czy informatyków, zdarza mi się też uczestniczyć w dyskusjach dotyczących profilu kształcenia. Poniższy wpis to zbiór trzech wybranych wrażeń, przemyśleń i doświadczeń związanych z organizacją przestrzeni do kształcenia mitologicznych Badaczy Danych. Po jednym na jedną konferencję.

Czytaj dalej Jak kształcić Data Scientists / Badaczy Danych?

Dni nauki @ Avangarda

Kilka dni temu, podczas konwentu Avangarda, miały miejsce Dni Nauki. Początkowo nie wiedziałem czego się spodziewać po takim wydarzeniu, ale byłem, widziałem, słuchałem i gorąco polecam. Imprez popularyzujących naukę jest trochę i w Warszawie i innych miastach, ale często wpadają one w pop-naukę, jakieś wybuchające wulkany czy 60 sekundowe show w którym nie ma czasu zastanowić się co i dlaczego wybuchło.

Prezentacje na Dniach Nauki były w formacie 60/120 min. Większość, z tych które widziałem, to przegląd wyników naukowych na określony temat np. prezentacja Michała Bilewicza dotycząca zależnościom pomiędzy obserwowaną przemocą w internecie czy na filmach a zjawisku odwrażliwienia (przy okazji tej prezentacji widać było jak trudno komunikować wyniki statystyczne, ale prelegentowi się sprytnie udało). Były też prezentacje eksplorujące ciekawe wątki w literaturze, których ja nie zauważałem a miło było je nagle odnaleźć, np. Jakuba Lichańskiego Literatura i filozofia.

Impreza odbywa się co roku, wiec gorąco i w ciemno polecam przyszłoroczną.

Moja prezentacja ,,Jak na świat patrzą magicy danych, o drążeniu cyfrowego świata” znajduje się tutaj.

Machine Learning a Super Mario Bros

Od jakiegoś czasu pojawiają się algorytmy trenowane z wykorzystaniem technik machine learningu do nauki gry w gry komputerowe. Co ciekawe, chodzi o budowę algorytmu (i późniejszą wsteczną analizę, czego ten algorytm się nauczył), który będzie dobrze grał w daną grę bez konieczności specyfikacji jakichkolwiek reguł związanych z daną grą. Niech algorytm wszystkich potrzebnych reguł sam się nauczy!

Czytaj dalej Machine Learning a Super Mario Bros