Rysunek ze strony examtimeTL;DR
1. Prowadząc zajęcia ze studentami, jeżeli chcemy poszerzyć warsztat technik znanych studentom, grywalizacja jest ciekawym rozwiązaniem.
2. Grywalizacja jest słabym rozwiązaniem (imho), jeżeli chcemy rozwijać inicjatywę i wspólne uczenie się według modelu wymiany wiedzy wielu do wielu.
Piszę ten wpis, ponieważ brakuje mi dyskusji na temat tego jak usprawniać prowadzenie zajęć z analizy danych. Może tym wpisem taką dyskusję sprowokuję, czy to na tym blogu czy poza nim (czy to z innymi prowadzącymi, czy studentami).
Po dłuższej przerwie, kilka miesięcy temu, wróciłem do pełnowymiarowej dydaktyki. Ostatnio testowałem kilka ,,usprawnień’’ w prowadzeniu zajęć i poniżej podzielę się doświadczeniami.
Materiałów dotyczących metod analizy danych jest coraz więcej (coursera i inne kursy online, szkoły letnie, blogi, książki, stack-overflow). Mnogość ta jakoś musi (powinna?) wpływać na zmiany w sposobie prowadzenia zajęć.
Zajęcia prowadzę różne. Od metodologicznych (Modele liniowe) po narzędziowe (R i Duże Dane, Data Mining).
W kwestii formuły zajęć to znalazłem taką z której jestem w miarę zadowolony.
Szkieletem zajęć są dwa projekty. Każdy projekt podzielony jest na trzy fazy. Projekty wykonuje się w zespołach. Przy prezentacji ostatniej fazy (o ile to jest możliwe) zapraszam eksperta dziedzinowego (np. biolog molekularny, analityk z banku) aby skomentował co myśli o wynikach i sposobie ich zaprezentowania.
Jest więc możliwość ćwiczenia pracy w zespołach (czasem jest piękna synergia, a czasem widać że prezentacja ma trzy części przygotowane niezależnie, ale kroczek po kroczku…).
Materiały i rozwiązania trzymamy na GitHubie, przez co każdy zespół może obejrzeć wyniki innego zespołu, oraz zobaczyć jak inni rozwiązali określone problemy. Do takiej pracy GitHub jest bardzo wygodny, czasem tylko uwiera ograniczenie co do wielkości plików (100MB na jeden plik).
Jest miejsce na zderzenie swojej perspektywy z perspektywą eksperta dziedzinowego. Dwie pierwsze fazy są na dopieszczenie techniczne projektu (dużo żargonu i technikali), trzecia to dopieszczenie komunikacji wyników na zewnątrz. I jest okazuje się być bardzo trudne.
Jest też miejsce na iteracyjną pracę nad projektem. Doświadczenia z jednej fazy można uwzględnić w kolejnych fazach.
Tego typu formuła zostawia miejsce dla inicjatywy. Czasem jest jej mniej (np. na zajęciach omawiamy k-średnich z 4 klastrami i wszystkie projekty mają klastrowanie z 4 klastrami) a czasem więcej.
O ile z formy jestem zadowolony to nie udało mi się znaleźć dobrej formuły oceniania projektów. A okazuje się, sposób oceniania silnie wpływa na aktywność studentów.
Punktem wyjścia były rozwiązania z okolicy tzw. grywalizacji. Czyli totalne mikrosterowanie, wszystko jest wyceniane w punktach, praca domowa – x punktów, liczba stron raportu pierwszej fazy – y punktów itp.
Niby wszystko ok, ocenianie sprowadza się do zliczania punktów, później jakieś progi i mamy ocenę. Ręce mamy czyste (chyba że progi są źle dobrane). Studenci są pracowici (w większości) i starają się możliwie dużo tych punktów zebrać.
Niestety to podejście bardzo skutecznie zarzyna głębszą inicjatywę.
Jeżeli są punkty za sprawdzenie wyników dla 8 różnych metod klasyfikacji to często w raporcie są wyniki dla 8 różnych metod i kropka.
Jeżeli punkty oparte byłyby o względne wyniki (np. jakość klasyfikatora jednego zespołu względem innych zespołów) to bardzo skutecznie zarzynamy chęć dzielenia się rozwiązaniami, które nagle stają się chronionym know-how każdego z zespołów i transfer wiedzy pomiędzy zespołami spada.
Ok, jeżeli nie grywalizacja to co?
Ostatnio jestem pod dosyć silnym wrażeniem z lektury książki ,,Doktryna Jakości’’ prof. Andrzeja Bliklego (dostępna w księgarniach i też bezpłatnie w formacie pdf). Znaczna część tej książki opisuje dlaczego i jak odchodzić od modelu kij/marchewka. Przykłady dotyczą zarządzania firmą, ale czy prowadzenie zajęć nie jest zarządzaniem procesem pozyskiwania wiedzy?
Więc realizacja jest następująca. Wciąż mamy projekty realizowane w grupach. Projekty są wykonywane w iteracjach, ale rezygnujemy z mikropunktów. Nie ma punktów za etapy pośrednie, nie ma nawet punktów za opcjonalne prace domowe. Przy każdej iteracji szukamy krytycznych informacji pozwalających na usprawnienie projektu oraz identyfikację elementów które można zmienić.
Po koniec jakoś trzeba pracę studentów ocenić. Jest to z konieczności ocena subiektywna, ale (mam nadzieję) nie krzywdząca. A z pewnością nie wisząca nad głową studenta przez cały kurs.
Takie rozwiązanie lub jego części przeprowadziłem na dwóch kursach (prowadzę, sesja jeszcze trwa). W obu przypadkach wygląda to to, że skończy się na bardzo różnych końcowych wynikach różnych zespołów. Jest grupa studentów o dużej samodyscyplinie, która robi bardzo dobry projekt i jest grupa, która nie czując ,,ciśnienia’’ (lub czując większe ciśnienie ze strony innych kursów) zrobiła projekt słabszy.
Podsumowując
Myślę, że podejście typu ,,grywalizacja’’ sprawdza się jeżeli celem jest poszerzenie warsztatu. Można wymienić narzędzia, których trzeba spróbować w liście punktowanych zadań. Ale mam wrażenie, że można skutecznie poszerzać warsztat korzystając z dostępnych materiałów więc potrzeba ćwiczenia tego na zajęciach jest mniejsza.
Podejście oparte o dużą swobodę zdejmuje presję na konkretne (punktowane) rozwiązania i daje większe możliwości eksploracji sensownych i bezsensowych pomysłów. Uważam, że to drugie podejście lepiej nadaje się do kształcenia badaczy danych, przynajmniej tych, od których w pracy oczekiwać będzie się inicjatywy.
Bardzo ciekawy temat. Ja nienawidzę przymuszać ludzi do czegokolwiek, stąd raczej mam niechęć do systemu mikro-zarządzania, ale na kursach typu „wstęp do …” na I roku, gdzie trzeba „przerobić” materiał, to się nieźle sprawdza. Na późniejszych etapach staram się raczej oceniać ludzi zadaniowo, ale zawsze będą tacy, którzy będą potem niezadowoleni. Co ciekawe mam (subiektywne, bez dobrych danych) wrażenie, że nawet ci studenci, którzy lepiej wypadają w systemie premiującym inicjatywę i aktywne szukanie rozwiązań często zapytani o to jak wolą być oceniani wybierają system „punktowy”, bo jednak u nas strasznie silnie rozpowszechnione jest przekonanie, że studia są po to, żeby zostać magistrem, a ew. nauczenie się czegoś to jest bonus. I system punktowy, jako bardziej przewidywalny, a więc bezpieczny, jest przez studentów wybierany chętniej… A teraz, kiedy grywalizacja jest też coraz bardziej po naszej stronie (ankiety studentów, oceny okresowe, itp) to nie jest bez znaczenia 😉
Akurat w drodze do pracy w Dwójce słyszałem ciekawą wypowiedź aktorki rozróżniającej bezpieczeństwo od … (wypadło mi z głowy to drugie słowo, roboczo będę używał 'przesadny komfort’). Bezpieczeństwo było potrzebne (jej) by eksperymentować (nawet jeżeli będzie porażka to mi nikt nie utnie głowy) vs. stan przesadnego komfortu, który nie dawał bodźców do jakichkolwiek zmian.
Być może da się studentom zapewnić to potrzebne bezpieczeństwo inaczej niż określając system punktowy.
Nawet rozmawiałem z dziekanem czy nie byłoby dobre powrócić do kursów na zaliczenie a nie na ocenę, ale ponoć jest tak, że w przypadku kursu na zliczenie do średniej liczy się on jak ocena 3 (a przecież średnia musi być) więc koniec końców jest to dla studenta niekorzystne rozwiazanie.
To „drugie słowo” to pewnie: rodzaj rozleniwienia, poczucia wygody.
Myślę, że propozycja, żeby wystawić na koniec subiektywną ocenę, po drodze nie stawiając żadnych punktów, jest zła. Dlaczego?
1. Brak informacji zwrotnych o jakości pracy wykonanej przez studenta w trakcie kursu.
2. Mam wrażenie, po przedmiocie na który uczęszczałem do Pana, że studenci (przynajmniej niektórzy) kierują się zasadą im więcej tym lepiej. Jeśli nie byłoby ocen cząstkowych, to inni studenci też zaczęliny podążać tą ścieżką, co na dłuższą metę może być bardzo obciążające dla kursantów, a prezentacje i projekty stałyby się nieznośnie długie.
3. Student cały czas pamięta o ocenie, tylko jest jeszcze bardziej nią przejęty, bo nie ma pojęcia, ile musi zrobić na daną ocenę.
Moja propozycja:
1. Można pomyśleć (i zapowiedzieć na początku) o zwolnieniu z egzaminu, jeśli widać będzie, że student wykazuje inicjatywę.
2. Na wypracowaniach z polskiego przyznaje się punkty za walor, gdy praca np. odwołuje się do jakiegoś innego dzieła albo jest w niej coś bardzo interesującego. Oczywiście te punkty są ponad poziom 100%. Można pomyśleć o czymś takim.
Dziękuję za komentarze.
Z pewnością informacje zwrotne dotyczące jakości są potrzebne. Ale może nie koniecznie muszą być związane z punktami.
Obecnie w ocenach jest i krótki feedback i liczba punktów. Można rozszerzyć feedback ale usunąć informację o punktach.
Przyjmuję argument, że niepewność co do oceny może być toksyczna.
Jakieś rozwiązania tego problemu postaram się przetestować w kolejnym semestrze.
Będę miał 5 grup więc dużo miejsca na testy AB.
Ważny i ciekawy wpis.
Po pierwsze myślę, że rodzaj oceniania powinien zależeć od rodzaju (zaawansowania) przedmiotu. Grywalizacja ma sens w przedmiotach wprowadzających, gdzie studenci muszą poznać i zrozumieć podstawowe pojęcia, metody. Jednocześnie, im kurs jest bardziej zaawansowany, tym elementów grywalizacji powinno być mniej. Coraz większy wpływ powinna mieć wówczas inwencja studentów, etc.
Zgadzam się też z wcześniejszym komentarzem, że studenci wolą dostać punkty. Z jednej strony są do tego przyzwyczajani (testy, testy, testy), a z drugiej są one dla nich wygodniejsze. Niestety w ten sposób nie nabiorą oni nawyku krytycznego myślenia.
Liczę na kolejne „edukacyjne” wpisy!
Właściwie to sam sobie odpowiedziałeś pisząc o grywalizacji. Dokładniej chodzi mi o rywalizację, w kontekście zastosowania unikalnych/nowatorskich metod, czyli najlepsze projekty wygrywają (tylko nie jeden najlepszy, bo wśród studentów będzie pewnie jedna grupa, która będzie najlepsza i inni będą o tym wiedzieć zanim projekty zostaną ocenione, więc się od razu zniechęcają) coś, czego nie będą w stanie sobie czegoś samemu załatwić, albo nie będzie to dla nich łatwe 🙂
Osobiście uważam, że bez znaczenia jest sposób oceniania. Byłem na wielu kursach, po których otrzymywałem ocenę 3.5 (czyli wg. opinii wielu osób słabą), a następnie przez wiele lat dawałem z danego przedmiotu korepetycje, albo dzięki wiedzy wyniesionej z przedmiotu zarabiałem na życie. Ocena czy średnia na koniec studiów są dla mnie bez znaczenia. Liczy się dla mnie to ile jestem w stanie nauczyć się pożytecznych rzeczy według mnie. Jeżeli do lepszej oceny potrzebować będę zarywać 2/3 noce z kolei, a nie będę czuł, że moja wiedza na tym skorzysta, to zadowolę się słabszą oceną. Stąd jestem w stanie zrozumieć studentów, którym wystarczy wykonanie projektu na ocenę 3 – zwłaszcza z przedmiotu, który jest obowiązkowy i niekoniecznie chcieli się na nim znaleźć.
Protip: prowadzącym proponuje skutecznie starać się uzmysłowić studentom, że są na zajęciach po to by dowiedzieć się czegoś przydatnego i by rozwinąć umiejętności, które będą mogli wykorzystać w przyszłości by zapewnić sobie godny byt lub ciekawą prace/życie. Jest to jednak ciężkie, bo niektórzy studenci sa niereformowalni i uważają, że sam dyplom z dobrą średnia to zapewni (ale nie wińmy ich, bo jest to przesąd wyniesiony z domu).
Do mnie Twoja motywacja zawsze trafiała, mało kiedy przejmowałem się ocenami. Może trzeba położyć większy nacisk na zmotywowanie chołubców dyplomów na pierwszych zajeciach, skoro motywowanie chołubców wiedzy już działa?
Mam jeszcze taką małą refleksje: zawsze zastanawiało mnie to, czy na studiach to studenci są dla prowadzących czy prowadzący dla studentów i czy to prowadzący powinni być zadowoleni ze studentów czy studenci z prowadzących?
Pozdrawiam
Co prawda ja dydaktykę prowadziłem krótko i już ładnych parę lat temu, ale chętnie dorzucę coś od siebie 🙂 Według mnie bardzo dużo zależy od tego, kogo się uczy… co już zresztą padało w komentarzach wyżej (z tym, że ja na dodatek uczyłem na nieco egzotycznym, w kontekście typowego czytelnika tego bloga, kierunku). Na kursie obowiązkowym dla I roku regularne ocenianie bywa właściwie koniecznością. To znaczy jest jedynym sposobem dającym nadzieje uniknięcia nieakceptowalnych społecznie 😉 wyników egzaminu (i, w tym kontekście, daje bardzo dobre podstawy do dyskutowania z niektórymi studentami o przyczynach ich egzaminacyjnych niepowodzeń, z którymi niekiedy trudno im się pogodzić).
Więc ja bym postulował, że istnieje pewna „hierarchia potrzeb”. W gruncie rzeczy, jak się Przemku zastanawiasz nad tym, jak zmotywować studentów do kreatywności, to znaczy, że i tak jest już całkiem dobrze 🙂
Ogólnie rzecz biorąc, każdy nauczyciel chciałby widzieć zapał w oczach swoich uczniów i na pewno warto szukać sposobów, jak możliwie skutecznie taki zapał rozpalać (dlatego bardzo dziękuję za ten wpis i mam nadzieję, że temat będzie jeszcze powracał w przyszłości). Czy jednak jest to do osiągnięcia na większą skalę? Zwłaszcza w dzisiejszych realiach powszechnego kształcenia na poziomie wyższym (cholerny elitarysta ze mnie wychodzi…).
Dziękuję za kolejne komentarze.
Z pewnością podejście zależy od tego z jakimi studentami pracujemy. Ale ponieważ bliższa ciału koszula… myślę, że w większości studenci z którymi przychodzi mi pracować są z ostatnich lat i wiedzą po co studiują, więc można z nimi eksperymentować.
Te komentarze podsunęły mi na myśl dwa pomysły.
1. Ustalamy, że będzie ocena ale jedna dla całej 20-osobowej grupy. Wszyscy na nią pracują (analogia do sukcesu/porażki startupu, choć obawiam się, że ta opcja zostałaby odebrana przez większość jako bardzo niesprawiedliwa).
2. Na początku kursu robimy krótką pogadankę a później ankietę z możliwością wyboru, kto w którym systemie chce być oceniany (punkty za drobne zadania vs. możliwość swobodnej pracy z jedną subiektywną oceną na koniec).
Ta druga opcja wydaje się być bardzo kusząca.
Co do pytania czy studenci są dla prowadzących czy prowadzący dla studentów. Obie strony uczestniczą w procesie edukacji dobrowolnie i nie za karę. Obie strony mają prawdo do bycia zadowolonymi ze współpracy z drugą stroną.