Zgłoszenia do tegorocznej edycji plebiscytu ,,Najgorszy wykresu roku”

Zbliża się koniec roku, a z nim siódma (!!!) edycja plebiscytu na najgorszy wykres roku (wykres, który jest wart tysiąca łez?).
Jeżeli widzieliście w papierowych lub elektronicznych mediach wykresy zniekształcające dane, powodujące, że prosta informacja staje się nieczytelna lub wprowadzająca w błąd zgłoście ją do konkursu!
Wykres/wizualizacja powinna być opublikowana w 2018 roku.
Zgłoszenia można przesyłać w komentarzach lub na adres email: przemyslawbiecek na serwerze gmail.com.

Mam już kilka ciekawych zgłoszeń, ale czekam na więcej.


Jakie wykresy stawały w szranki w poprzednich latach? (ubiegłoroczny zwycięzca po prawej)

Wykresy Unplugged – pomysł na prezent pod choinkę

Wizualizacja danych to jedna z tych przyjemnych i pożytecznych czynności, która pozwala nam lepiej zrozumieć otaczający nas świat.

Ale nikt nie rodzi się z umiejętnością odczytywania czy tworzenia wykresów. Tę umiejętność trzeba w sobie wyćwiczyć.

Można oczywiście czytać o wizualizacji (np. w Esejach o wizualizacji danych) lub oglądać wykresy (np. na FlowingData), ale jeszcze lepiej byłoby poznawać wykresy w sposób czynny – tworząc je.

Nowa pozycja o wizualizacji danych

Wykresy Unplugged to książka (28 stron A4, pełny kolor) omawiająca osiem najpopularniejszych typów wykresów. Czterech poświęconych wizualizacji rozkładu (wykres kołowy, łodyga – liście, histogram, pudełko-wąsy) oraz czterech poświęconych relacjom (zmiany, kropkowy, kartogram, mozaika).

Każdy wykres ma swoją rozkładówkę. Na lewej stronie opisywane są ciekawostki, sposób budowy oraz przykład dla danego wykresu, a po prawej stronie są przykładowe dane oraz miejsce na narysowanie własnego wykresu.

Tak! Narysowanie!

W tej książce są ćwiczenia do wykonania z użyciem ołówka (i czasem kredek, ewentualnie kolorowych długopisów).

Do wykresów przygotowane są również ćwiczenia i pytania, pozwalające nam na weryfikacje co łatwiej wyciągnąć z tabelki z liczbami a co z wykresu.

Obok wykresów, w tej książce znajdują się przykładowe rozwiązania i dodatkowe rozkładówki omawiające wybrane zagadnienia teoretyczne (dobór kształtów, kolorów historia wizualizacji).

Zazwyczaj zajęcia z wizualizacji danych oparte są o jakieś programy graficzne, tak by szybko można było coś wyklikać. Ale obecne komputerowe narzędzia są bardzo ograniczające. Dużo energii wchodzi w opanowanie narzędzia zamiast w myślenie o danych. Stąd zrodził się pomysł na zbudowanie książki, uzupełnionej o ćwiczenia, które będzie można wykonać bez komputera. Oto i ona – Wykresy Unplugged.

Jak ją zdobyć?

Książkę można kupić bezpośrednio na stronie Wydawnictw Uniwersytetu Warszawskiego, wkrótce dostępna będzie też w Empiku, Merlinie i sklepiku w Centrum Nauki Kopernik.

Książka kierowana jest dla osób ciekawych świata od 10 do 110 lat.

Książka powstała dzięki współpracy z Ewą Baranowską (entuzjastka D3 i grafiki interaktywnej), Piotrem Sobczykiem (autor między innymi Szychta w danych) oraz studiem graficznym storyvisio.

Seria Beta i Bit

Wykresy Unplugged to część serii Beta i Bit – projektu popularyzującego matematykę, informatykę i wnioskowanie oparte o dane. Na wniosek wydziału MiNI PW, za prace nad tym projektem, otrzymałem Medal Komisji Edukacji Narodowej (!!!).
To się nawet dobrze złożyło, ponieważ z końcem roku do sklepów trafiają dwie pozycje z tej serii, Wykresy Unplugged i W pogoni za nieskończonością.
O tej drugiej napiszę na dniach.

Z pamiętnika nauczyciela akademickiego: O pracach domowych

Najbardziej lubię prace domowe, które mogę czytać z zapartym tchem.
Jak to?
Ekscytować się pracami domowymi ponad 50 studentów robiących to samo zadanie?

Zobaczcie sami!

Na zajęciach z Technik Wizualizacji Danych (zajęcia na bazie Esejów o sztuce prezentowania danych) opowiadam studentom jakie wykresy są dobre a jakie złe.
Ale przecież studenci matematyki i informatyki nie biorą niczego na wiarę!
W ramach piątej pracy domowej sprawdzali czy faktycznie wygląd wykresu ma znaczenie.
Poniżej wyniki z kilku przykładowych prac domowych.
Prace polegały na przeprowadzeniu ankiety na temat związany z wykresami.
Zachęcam do zrobienia najpierw ankiety a później przeczytania o wynikach z ankiety.

Torty czy słupki?

Ankieta
Wyniki

Co oni robią na kolosie?

Ankieta
Wyniki

Albo słupki albo tytuł

Ankieta
Wyniki

Tego Nie Zobaczysz

Ankieta
Wyniki

Libre Office nie jest bez wad

Ankieta
Wyniki

Loteria

Ankieta
Wyniki

A może drzewo?

Ankieta
Wyniki

Nawet dziecko to zobaczy

Wyniki

Co jest w pudełku?

Wyniki

Świetne, prawda?

Dlaczego boimy się sztucznej inteligencji, dlaczego to przerażające i co możemy z tym zrobić?

W ostatnich miesiącach brałem udział w kilku panelach poświęconych SI, między innymi w Dysputach Pitagorejskich na PW. Przyznam, że przebieg dyskusji był często dla mnie zaskakujący, a może nawet przerażający. Dlaczego? O tym poniżej.

Mówi się sporo o gospodarce opartej o dane, rewolucji informacyjnej, przemyśle 4.0 itp. Spodziewałem się więc, że panele poświęcone Sztucznej Inteligencji będą krążyły wokół tego tematu. Co zrobić, by nasza gospodarka wykorzystała tę zmianę zyskując na konkurencyjności? Jak wykorzystać nowe technologie w jak największej części gospodarki? Jednak z jakiegoś powodu, dyskusja z publicznością zbiega na wątki typu ,,czy roboty zabiorą nam pracę’’ lub ,,czy sztuczna inteligencja się zbuntuje’’. Miała być nadzieja na lepsze jutro, a jest głównie strach i obawy.

Cóż, pewnie po prostu lubimy się bać, tym bardziej, że ten strach podsycają niektóre media czy filmy. Baliśmy się kosmitów, baliśmy się zmutowanych pomidorów, możemy się bać i SI. Obecny stan SI jest tak daleki od jakiejkolwiek samoświadomości, że strach przed SI jest równie irracjonalny jak strach przed tym, że lokomotywy parowe przerażą krowy tak, że przestaną dawać mleko a kury jajka (takich rzeczy obawiano się kiedyś).

Niestety strach przed SI, jest barierą rozwoju dla polskich firm, obawą przed wdrażaniem rozwiązań opartych o uczenie maszynowe. Mamy w Polsce sporo osób tworzących rozwiązania w obszarze uczenia maszynowego czy sztucznej inteligencji, ale zazwyczaj jest to outsourcing dla zachodnich firm, bardziej zaawansowanych technologicznie. Firmy szukające klientów na rodzimym rynku często borykają się z bardzo niskim zrozumieniem możliwości, ograniczeń i potencjału jaki daje uczenie maszynowe.

Sprawa jest poważna. Trafiłem ostatnio na raport ,,SZANSE I WYZWANIA POLSKIEGO PRZEMYSŁU 4.0” opracowany przez ARP, który pokazuje jak mizernie wygląda zaawansowanie robotyzacji i automatyzacji w Polsce. Dwa przykładowe wykresy z tego raportu poniżej.

Stwierdzenie z raportu: ,,Obok niskich kosztów pracy, to brak wiedzy i gotowości polskiej kadry kierowniczej do zmian jest główną barierą w rozwoju Przemysłu 4.0 w Polsce’’. Dodałbym jeszcze do tego zdania ukryty strach przed SI, które z jakiegoś powodu kojarzone jest częściej z robotami wyglądającymi jak człowiek zamiast z rozwiązaniami typu system rekomendacyjny Amazona czy wyszukiwarka Googla.

Co możemy zrobić by nie przegapić kolejnej rewolucji? Potrzebna jest szeroko zakrojona edukacja przedsiębiorców/społeczeństwa dot możliwości jakie daje analiza danych. Nie tylko edukacja kadr (programy studiów, też doktoranckich, to zwiększy podaż umiejętności) ale również edukacja przedsiębiorców (aby zwiększyć podaż). Zamiast straszyć w gazetach robotami, można pokazać mniejsze i większe sukcesy AI (i nie chodzi mi o granie w Go).

Microsoft w tym roku zorganizował ciekawe warsztaty/burzę mózgów na ten temat. Grupa z którą miałem przyjemność pracować zaproponowała opracowanie programu edukacyjnego/popularyzacyjnego pod hasłem ,,Zrozum syntetyczny rozum’’. Program (może prelekcje, może youtube, może artykuły w mediach lub TV), w ramach którego można by skupić się na popularyzacji użytecznych zastosowań SI i ML w gospodarce. Zarówno przez pokazywanie gdzie ML podniósł konkurencyjność firmy jak i przez zwalczanie absurdów w stylu samoświadome komputery walczące z ludzkością.

Łatwiej opracować takie materiały mając szerszą perspektywę wielu par oczu.
Jeżeli byłbyś zainteresowany/zainteresowana pomocą w opracowaniu takich materiałów (czy to przez wkład merytoryczny, techniczny czy jakikolwiek inny) to zobowiązany będę za kontakt. Jeżeli się zbierze kilka osób to z pewnością też znajdzie się sposób na realizacje tej inicjatywy.

PS: Ciekawy artykuł o trendach w postrzeganiu SI.

PS2: Z rozwojem SI są oczywiście związane różne zagrożenia (patrz moja ulubiona XAI), ale nie powinny być one stosowane jako wymówka do nie używania SI.

Koderek i BetaBit


W tym roku miałem ponad 20 referatów na 4 kontynentach. Ale największym przeżyciem był dzisiejszy.
Na wydziale MiNI PW opowiadałem o odkrywaniu świata przez wizualizację danych (Da Vinci, Nightingale, Snow i te klimaty) dwóm klasom 8-latków ze Szkoły Podstawowej nr 1.
Około 40 pełnych energii dzieciaków w sali 107 – gdzie mieści się do 250 studentów – super zabawa. Jest to fragment projektu Beta Bit – edukacji w obszarze Data Literacy (matematyka + informatyka) dla małych i dużych.

Kolejne warsztaty z tej serii już w sobotę 21 listopada na Koderku – arcyciekawej konferencji dla dzieci, młodzieży, nauczycieli i dorosłych.
Koderek to multum ciekawych referatów i warsztatów.
W tym roku jest też coś ekstra – labirynt z zagadkami logicznymi.
Pełny program jest tutaj.
Wciąż można się zapisywać.

Dyscypliny czasopism

Dzisiaj bardzo technicznie.
Od jakiegoś czasu, umysły wielu polskich naukowców zaprząta problem: do jakiej dyscypliny naukowej się przypisać?. Wczoraj ministerstwo opublikowało listę przypisań czasopism do dyscyplin (na tej stronie). Lista jest w postaci pliku pdf. Aby dało się z nią pracować zapisałem ją w formacie txt tutaj.
Przyjrzymy się tej liście.

Mamy na niej 44 dyscypliny i 27301 czasopism.
Dla 136 czasopism przypisano wszystkie 44 dyscypliny (np. Science czy Nature). Dla 3/4 czasopism przypisano trzy lub więcej dyscyplin. Poniżej histogram (obcięty do 20 czasopism dla czytelności).

Dla każdej pary dyscyplin policzyłem ile jest czasopism, które są przypisane do obu dyscyplin. Taką tablę współwystępowania można pobrać z tej strony.

A jak już mamy tabelę współwystępowania to trzeba zrobić z niej graf. Poniżej graf wykonany z użyciem pakietu igraph. Wielkość wierzchołka – liczba czasopism, grubość krawędzi – liczba wspólnych czasopism.

Mnie najbardziej interesowały dyscypliny z którymi czuję się jakoś związany. Wycinek powyższej tabeli dla 9 wybranych dyscyplin przedstawiam tutaj.

Jest kilka ciekawostek.

Np. dyscyplinę informatyka ma przypisanych 2510 czasopism, z czego 2506 ma też przypisaną informatyka techniczna i telekomunikacja. Wśród tych czterech z informatyki, ale nie informatyki technicznej mamy Journal of Experimental Algorithmics, Konstruktion i Positivity. Poza tymi nielicznymi wyjątkami, liczba czasopism z przypisaniem informatyka zawiera się w informatyce technicznej.

Matematyka ma duże przecięcie z obiema informatykami. 70% czasopism z przypisaną matematyką, ma też przypisane obie informatyki.

Nauki medyczne mają bardzo duże przecięcie z naukami o zdrowiu (to nie jest zaskoczeniem). Podobnie z biologią i bioinżynierią.

Bardzo dobre czasopisma związane z ML (np. Journal of Machine Learning Research, Journal of Statistical Software) są przypisane do obu informatyk i matematyki.

Część środowiska obawiała się, że jeżeli przypisze się do dyscypliny X to później okaże się, że nie może do tej dyscypliny przypisać części swoich prac. Ale ogólne moje wrażenie jest takie, że czasopisma do dyscyplin przypisane są z rozmachem.
Ministerstwo deklaruje, że nawet jeżeli czasopismo nie jest przypisane do jakieś dyscypliny, to będzie można konkretną pracę do dyscypliny przypisać, tyle, że nie z automatu.
Zobaczymy.
Bioinformatycy publikujący np. w Nucleic Acids Research nie znajdą w wykazie jej dyscyplin ani informatyki ani informatyki technicznej. A że problem (?) z NAR i mnie dotyka, więc pewnie jeszcze o nim napiszę.

Ponoć gdzieś po sieci krąży plik z informacją o punktacji dla poszczególnych czasopism. Chętnie sprawdziłbym jak to współdzielenie dyscyplin wygląda wśród tych najlepszych czasopism.

Matematyka i wizualizacja danych, czyli plany wydawnicze na koniec 2018

Na końcówkę roku szykujemy dwie bardzo ciekawe pozycje. Póki co zapowiedzi. Napiszę gdy już ukażą się w sprzedaży lub przedsprzedaży.


Pierwsza z nich to ,,W pogoni za Nieskończonością”. To 32 stronicowy komiks o przygodach Bety i Bita.

Tym razem rodzeństwo zmierzy się z Nieskończonością. A że to nie mały problem, więc i publikowany zeszyt jest początkiem (oby) dłuższej serii.

Patrząc na okładkę część z Was pewnie widzi kreskę znanego biologia i popularyzatora przyrody Tomasza Samojlika (autor między innymi książek o Żubrze Pompiku). Drugim rysownikiem jest Sebastian Szpakowski. Treścią matematyczną współopiekował się Łukasz Maciejewski.

Nie dajcie się zwieść. To nie jest komiks dla dzieci! Poruszamy w nim poważne tematy. Zresztą, już niedługo zobaczycie sami.


Druga zapowiedź dotyczy zeszytu ćwiczeń ,,Wykresy unplugged”.

Tym razem 28 osiem stron informacji o wykresach oraz miejsca na samodzielne praktykowanie sztuki wizualizacji danych.

Zeszyt wyposażony jest w 8 kompletów danych i ćwiczeń do samodzielnego wyrysowania. Wyrysowania ołówkiem i kredkami, nie ma co ograniczać się do możliwości nawet najlepszego programu graficznego. Jedynym ograniczeniem niech będzie wyobraźnia!

Obok ćwiczeń jest też kilka wkładek tematycznych o technikach wizualizacji. I w tym wypadku nie dajcie się zwieść kredkom. To zeszyt ćwiczeń dla każdej kreatywnej osoby, nawet zabieganego dyrektora działu Data Science.

Stroną graficzną opiekowała się Magda Małczyńska-Umeda i zespół StoryVisio (autorka między innymi Infostory), merytoryczną opiekowałem się razem z Ewą Baranowską, przy wsparciu Piotra Sobczyka z Szychta w danych.


Czekając na te pozycje można zawsze sięgnąć do pozycji już obecnych na rynku. Np. do Zbioru Esejów o sztuce prezentowania danych. Do zamówienia ze strony Wydawnictw Uniwersytetu Warszawskiego.

Break Down: model explanations with interactions and DALEX in the BayArea

The breakDown package explains predictions from black-box models, such as random forest, xgboost, svm or neural networks (it works for lm and glm as well). As a result you gets decomposition of model prediction that can be attributed to particular variables.

The version 0.3 has a new function break_down. It identifies pairwise interactions of variables. So if the model is not additive, then instead of seeing effects of single variables you will see effects for interactions.
It’s easy to use this function. See an example below.
HR is an artificial dataset. The break_down function correctly identifies interaction between gender and age. Find more examples in the documentation.

Figure below shows that a single prediction was decomposed into 4 parts. One of them is related to the interaction between age and gender.

BreakDown is a part of DALEXverse – collection of tools for visualisation, exploration and explanation of complex machine learning models.

Till the end of September I am visiting UC Davis and UC Berkeley. Happy to talk about DALEX explainers, XAI and related stuff.
So, if you want to talk about interpretability of complex ML models, just let me know.

Yes, it’s part of the DALEX invasion 😉
Thanks to the H2020 project RENOIR.

Ceteris Paribus v0.3 is on CRAN

Ceteris Paribus package is a part of DALEX family of model explainers. Version 0.3 just gets to CRAN. It’s equipped with new functions for very elastic visual exploration of black box models. Its grammar generalizes Partial Dependency Plots, Individual Conditional Expectations, Wangkardu Plots and gives a lot of flexibility in model comparisons, groups comparisons and so on.

See a 100 sec introduction to the ceterisPackage package on YouTube.

Here you will find a one-pager cheat-sheet with selected use cases.

Here is a longer introduction with notation and some theory.

Here there is a vignette with examples for regression (housing prices).

And here for multiclass classification (HR models).

It’s a work in progress. Feel free to contribute!

No worries! Afterthoughts from UseR 2018


This year the UseR conference took place in Brisbane, Australia. UseR is my favorite conference and this one was mine 11th (counting from Dortmund 2008). 
Every UseR is unique. Every UseR is great. But my feelings are that European UseRs are (on average) more about math, statistics and methodology while US UseRs are more about big data, data science, technology and tools. 

So, how was the one in Australia? Was it more similar to Europe or US?

IMHO – neither of them. 
This one was (for me) about welcoming of new users, being open for diversified community, being open for changes, caring about R culture. Some footmarks of these values were present in most keynotes.

Talking about keynotes. All of them were great, but the ,,Teaching R to New Users” given by Roger Peng was outstanding. I will use the video or the essay as the MUST READ material for students in my R programming classes.

Venue, talks, atmosphere were great as well (thanks to the organizing crew led by Di Cook). Lots of people (including myself) spend time around the hex wall looking for their favorite packages (here you will read more about it ). There was an engaging team exercise during the conference diner (how much your table knows about R). The poster sessions was being handled on TV screens, therefore some posters were interactive (Miles McBain had poster related to R and Virtual Reality, cool). 

Last but not least, there was a great mixture of contributed talks and workshops. Everyone could find something for himself. And even too often it was hard to choose between few tempting options (fortunately, talks are recorded). 
Here I would like to mention three talks I found inspiring.

,,The Minard Paradox” given by Paul Murrel was refreshing. 
One may think nowadays we are so good in data vis, with all these shiny tools and interactive widgets. Yet Paul showed how hard it is to reproduce great works like Minard’s Map even in the cutting edge software (i.e. R). God is in the detail. Watch Paul’s talk here.

,,Data Preprocessing using Recipes” given by Max Kuhn touched an important, jet often neglected truth: Columns in the source data are unnecessary final features. Between ‘read the data’ and ‘fit the model’ there is an important process of feature engineering. This process needs to be reproducible, needs to be based on some well planned grammar. The recipes package helps here. Find the recipes talk here (tutorial is also recorded)

,,Glue strings to data in R” given by James Hester shows a package that is doing only one thing (glue strings) but is doing it extremely well. I have not expected 20 minutes of absorbing talk focused only on gluing strings. Yet, this is my third favourite. Watch it here.

David Smith shared his highlights here. You will find there quite a collection of links.

Videos for recorded talks, keynotes and tutorials are on R consortium youtube.