Concerto, czyli R dla psychologów

Dzisiaj Maria Rafalak przedstawi nowinkę prosto ze świata psychometrii, czyli o platformie Concerto. Opartego o R wsparcia w prowadzeniu badań z użyciem testów CAT. Na początku będzie trochę o samym narzędziu, a w drugiej części o wrażeniach z pracy z nim.


Maria Rafalak
Pracownia Testów Psychologicznych

Concerto to platforma przygotowana przez Centrum Psychometryczne Uniwersytetu Cambridge w Wielkiej Brytanii. Concerto jest projektem opensource’owym dedykowanym dla psychologów (oraz innych specjalistów) zbierających dane w środowisku online. Jego największą zaletą jest możliwość łatwego tworzenia testów adaptacyjnych CAT (Computer Adaptive Tesing), czyli testów, w których dobór kolejnych pytań jest uzależniony od odpowiedzi udzielanych przez osobę badaną.

Rozwiązanie bazuje na silniku obliczeniowym R. Domyślnie w platformie zainstalowane są pakiety rjson, RMySQL, session oraz catR. W razie potrzeby istnieje możliwość instalacji innych pakietów niezbędnych do obliczeń.
Concerto posiada przejrzysty interface (dostępny również w wersji polskiej), który ułatwia tworzenie testów użytkownikom nie zaznajomionym z programowaniem.

concerto1

Zakładka „testy” pozwala zaprogramować przebieg badania. Tu definiujemy m.in. kolejność prezentowania zadań, szablony, na jakich zadania mają być wyświetlane oraz kryterium zakończenia testu. Tu można korzystać z sekcji, w których bezpośrednio wpisuje się kod R.

concerto2

Zakładka „szablony html” pozwala w łatwy sposób zdefiniować sposób wyświetlania zadań w teście. Dla osób mniej zaawansowanych dostępny jest prosty „klikalny” edytor html. Istnieje również możliwość bezpośredniego wprowadzenia kodu html.

concerto3

Zakładka „tabele” pozwala zdefiniować tabele, sql, w których zapisywane są dane z badania testem. Możliwe jest wyeksportowanie tabeli z danymi w formacie .csv i zapisanie pliku na dysku komputera.

concerto4

A teraz po tym lekko przydługim wstępie opis moich wrażeń i przemyśleń związanych z platformą Concerto. Na wstępie zaznaczę, że nie jestem programistą, tylko psychologiem, więc mój punkt widzenia będzie zapewne specyficzny. Zawodowo zajmuję się tworzeniem testów psychologicznych i analizą danych – biegle posługuję się językiem R.

Z platformą zetknęłam się około 2 lata temu w trakcie stażu naukowego na Uniwersytecie w Cambridge. Nie trudno się domyślić, że pomysł ułatwienia życia psychologom w prowadzeniu badań online od razu zyskał moją sympatię. Korzystam ze starszej wersji systemu (3.9.14), więc o niej będę się wypowiadać. Ta wersja jest stabilna, a na tym zależało mi najbardziej przy prowadzeniu moich badań.

System Concerto jest dostosowany do dwóch rodzajów użytkowników – takich, którzy mają jakieś pojęcie o programowaniu i osób, które na hasło „kodowanie” reagują panicznym lękiem. Projektowanie badania składa się z trzech części: zdefiniowania bazy danych (tabel SQL), w których zapisywane będą zebrane dane, stworzenia szablonów html, na których wyświetlane będą zadania oraz zaprojektowanie przebiegu samego badania. Każdy z tych elementów może zostać „wyklikany” – ale nie ma się co oszukiwać, bez przynajmniej podstawowej znajomości języka R nie uda nam się stworzyć badania adaptacyjnego. Natomiast jeżeli jesteśmy skłonni zadowolić się badaniem o mniej skomplikowanej strukturze, nie musimy dodawać żadnych linijek kodu.

W nauce Concerto bardzo przydatna jest opcja zamiany „wyklikanych” poleceń na kod R (przycisk: „change to lower level R section”/ w polskiej wersji językowej: „zamień na kod R niższego poziomu”). Dzięki temu prostemu zabiegowi możemy w łatwy sposób zorientować się, jak używając kodu R wykonywać operacje na tabelach sql, wyświetlać szablony html albo przechodzić do kolejnych części badania. Daje to dużo większą swobodę w projektowaniu własnego badania.
Na koniec chciałam wspomnieć o jeszcze jednej zalecie systemu Concerto – zadania jakie umieszczamy w szablonach html mogą być bardzo zróżnicowane. Nie musimy ograniczać się do zwykłego formularza, czy pytań otwartych. Zadania mogą zawierać grafikę, pliki muzyczne lub pliki video. Przy dobrej znajomości html, css i javascript można wyczarować prawdziwe cudeńka. Dla mnie, jako osoby o dość ograniczonej znajomości tajników projektowania stron internetowych, najtrudniejsze było opanowanie różnic w wyświetlaniu zadań przez różne przeglądarki internetowe – ale oczywiście nie jest to problem specyficzny dla platformy Concerto J.
Jeżeli chcecie ocenić efekt moim zmagań z html i platformą Concerto, zapraszam do odwiedzenia strony www.practest.com.pl/pilotaz . Zachęcam wszystkich do udziału w badaniu. Możecie przekonać się, jak radzicie sobie z rozwiązywaniem trudnych zadań pod presją czasu. Dla osób, które osiągną najwyższe wyniki przewidziane są sympatyczne upominki!

Dodatkowe linki, do stron, na których znajduje się więcej informacji o platformie Concerto: http://concertoplatform.com/, http://www.psychometrics.cam.ac.uk/newconcerto, https://github.com/parolkar/concerto.

One thought on “Concerto, czyli R dla psychologów”

  1. Dziękuję za interesujący wpis!

    Chciałbym się jeszcze dopytać o możliwości stricte CATowe tego systemu. Jakie wsparcie oferuje dla tworzenia banków zadań? Jak wygląda wsparcie dla tworzenia testów adaptatywnych (doboru prezentowanych zadań/wiązek na podstawie oszacowania poziomu badanej cechy dokonanego w oparciu na dotychczas udzielone odpowiedzi)?

    I jeszcze jedno pytanie – wiesz może, na jakiej licencji to jest udostępniane? Bo przejrzałem na szybko te ich strony, ale się na taką informację nie natknąłem.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *