Hakaton ‘Puls miasta’ @ WhyR 2017

WhyR to Ogólnopolska Konferencja Użytkowników R, która odbędzie się 27-29 września 2017 na Politechnice Warszawskiej (więcej o WhyR). Dzień przed konferencją (26 września) planujemy przeprowadzić bardzo ciekawy hakaton z wykorzystaniem naprawdę dużych miejskich danych.

Jakich danych?
Hakaton realizowany jest w ramach projektu VaVeL (więcej o VaVeL) w którym partnerem jest Ośrodek Badań dla Biznesu PW (więcej o OBB), dzięki czemu będziemy mieli dostęp do danych z najróżniejszych sensorów w Warszawie. Jakich sensorów? Przykładowo dane o położeniu każdego tramwaju i autobusu w praktycznie każdej chwili (live + spora historia), dane o natężeniu ruchu pieszego w różnych punktach miasta, z publicznych kanałów informacyjnych i z wielu innych źródeł (rysunek po prawej to ślad z jednego dnia po sensorach z tramwaju 22). Masa danych. Mikołaj w tym roku przychodzi we wrześniu.

Jak to ogarnąć?
W ramach warsztatów poprowadzimy bezpłatne mini-wykłady z technologii BigData-owych, takich jak Hadoop czy Hive, dzięki czemu uczestnicy będą mogli i będą wiedzieć jak dostać się do tych gigantycznych zasobów. Ale nawet jeżeli ktoś nie przepada za żółtymi słoniami będzie mógł pracować na przetworzonych skrawkach danych lub też będzie mógł wesprzeć zespół od strony wizualizacji, burzy mózgów, tworzenia aplikacji mobilnych czy innych aplikacji.

Co będziemy robić?
Zbieramy różne pomysły na hackaton, ale liczymy też na burzę mózgów podczas samego wydarzenia. Analiza danych oceniających zatłoczenie przystanków na Mordorze? Aplikacja informująca ile się średnio spóźnia linia 10 w okolicach godziny 16? Wizualizacja transferu mieszkańców w różnych godzinach. Zobaczymy co z tego wyjdzie.

Jak się zarejestrować?
Więcej informacji o rejestracji pojawi się po feriach zimowych. Z pewnością warto śledzić stronę konferencji WhyR.

Open Data Day 2013

Dzisiaj (23 lutego) w trzydziestu ośmiu krajach odbywały się hakatony, których tematyka związana była z otwartymi danymi (więcej informacji tutaj) [nawet nie będę starał się szukać tłumaczenia dla słowa hakaton, purystów proszę o wybaczenie].
W Polsce zorganizowane były dwa tego typu spotkania, w Warszawie i w Katowicach. Ja trafiłem na warszawski hakaton organizowany między innymi przez Łukasza Jachowicza z Centrum Cyfrowe Projekt Polska (opis tutaj).
Z różnych powodów mogłem być tylko na połowie tego spotkania, zamiast więc włączyć się do prac innego zespołu zabrałem ze sobą własne niedokończone projekty i spokojnie sobie nad nimi pracowałem.

Atmosfera była niesamowita, około pięćdziesięciu osób intensywnie pracujących nad różnymi projektami, wokół dyskusje nad wyższością Flasku nad Railsami, lub komentarze o wadach i zaletach innych projektów związanych z otwartymi danymi.
W takiej atmosferze nawet pracując nad wariantami splicingowymi genów, czyli czymś zupełnie niezwiązanym z hakowaniem otwartych danych, efektywność pracy rośnie kilkukrotnie.
Realizowane były różne projekty, np. adaptacja na polskie warunki serwisu Poliwoops (zobacz tutaj), śledzącego jakie tweety politycy napisali a później skasowali, zbieranie danych o komunikacji miejskiej, oceny czasów przejazdu pomiędzy dwoma punktami w mieście, aplikacje wokół danych z otwartych zabytków itp. Listę pozostałych można znaleźć na stronie hakatonu.

Spotkanie przyciągnęło wielu programistów, grafików i projektantów, zabrakło jednak (mnie) osób zajmujących się analizą danych. Stąd też znaczne przesunięcie akcentu na zbieranie danych przez parsowanie stron czy budowanie interfaceów pozwalających na łatwy dostęp do danych, ale mniejszy nacisk na wyciąganie z danych przetworzonych informacji. Przykładowo najbliżej mnie siedział zespół pracujący nad API dostępu do informacji o tym, kto i kiedy był ministrem w rządzie. Interesujące dane, które mogą być źródłem ciekawych zestawień. Niestety moje dociekania, czy będzie można się do tych danych dostać na zasadzie otwartej licencji, kiedy z ty danych będzie można skorzystać, i próby opisania jakie to interesujące statystyki na takich danych można zrobić, zderzyły się z odpowiedzią, że zespół interesuje zrobienie API, to jak z tych danych będzie można korzystać to się ustali później.

Podsumowując, dla programistów, projektantów i grafików fantastyczne spotkanie. Dla statystyków może mniej. Ja jednak bardzo się cieszę, że tam byłem. W takiej atmosferze chciałbym pracować każdego dnia.