» E-mentor nr 2 (29) / 2009

Bardzo istotną rolę w edukacji pełni efektywne ocenianie jej rezultatów. Obecny postęp technologiczny znacznie usprawnia ten proces. Systemy oceniania są coraz bardziej złożone i skuteczne zarazem, jak również coraz bardziej dostępne dla osób zaangażowanych w proces dydaktyczny - zarówno od strony odbiorców, jak i nauczycieli oraz organizatorów.

Firma Qestionmark, założona w 1988 roku w Londynie, zmierza do osiągnięcia pozycji wiodącej organizacji na świecie w zakresie rozwijania i dostarczania narzędzi do oceniania - oprogramowania oraz systemów i usług służących zinformatyzowaniu edukacji, w tym procesu oceniania. Questionmark ma ponad 3 tysiące klientów na całym świecie oraz około 20 tys. systemów do tworzenia treści - udostępnionych ponad 24 milionom użytkowników. Klienci reprezentują różne branże (m.in. finanse, bankowość, produkcja, opieka zdrowotna), jak również środowiska edukacyjne, takie jak instytucje edukacji podstawowej i średniej, wyższe szkoły zawodowe oraz uniwersytety.

Spółka TELERAT w Berlinie jest głównym dystrybutorem oprogramowania Perception firmy Questionmark na Niemcy, Austrię, Szwajcarię oraz Polskę. Firma została założona w 1980 roku (założyciel Rainer Hartlep) i początkowo świadczyła usługi konsultingowe dla Telecommunication and Multimedia. Od 1985 roku opracowuje audiowizualne, komputerowe programy treningowe, multimedialne programy nauczania oraz programy informacyjne. Specjaliści z TELERAT koncentrują się na e-learningu oraz e-ocenianiu (e-assesment, e-examination). Od 1999 roku przedsiębiorstwo działa jako partner wspomagający Questionmark-Perception w zakresie konsultingu, dystrybucji i szkoleń.

Perception jest systemem zarządzania narzędziami oceniania poziomu wiedzy, umożliwiającym bezpieczne administrowanie i generowanie raportów z badań, quizów, testów czy egzaminów. Umożliwia wielu autorom podjęcie wspólnej pracy w rozproszonym środowisku edukacyjnym z możliwością bezpośredniego połączenia z istniejącymi systemami i infrastrukturą. Kreator tworzenia treści umożliwia tworzenie 22 typów pytań lub zadań - od popularnych, takich jak: pytanie wielokrotnego wyboru (multiple choice), skala Likerta (Likert scale), uzupełnianie luk w tekście (fill-in-the-blank) czy esej - do innowacyjnych typów zadań, np. "przeciągnij i upuść" (drag-and-drop), "ustna odpowiedź" (spoken response) lub pytania interaktywne, które wykorzystują symulacje Adobe Flash i Adobe Captivate. Pytania mogą być katalogowane w oparciu o temat lub cel uczenia i zorganizowane w ekspertyzy (badania), quizy, testy i egzaminy.

Perception dostarcza sprawdziany online do tradycyjnych przeglądarek internetowych oraz stosowanych w urządzeniach mobilnych. Umożliwia także drukowanie i skanowanie sprawdzianów oraz centralizację zarządzania nimi, zarówno w wersji online, jak i tradycyjnej. Opcje dostępności sprawdzianów pozwalają autorom na rotację pytań i odpowiedzi do wyboru, natomiast zawodnikom zapewniają pełną informację zwrotną lub komentarz. Odpowiedzi są oceniane i zachowywane w bazie dla celów analizy i raportowania. System raportowania Perception zawiera 12 standardowych wzorów raportów, które pozwalają administratorom przeanalizować i zaprezentować wyniki. Raport zawiera dany sprawdzian, jego rozwiązanie tj. statystykę odpowiedzi na pytania, analizę braków w odpowiedziach oraz m.in. wskazówki dotyczące poprawnego rozwiązania.

Aplikacja Perception zawiera różne opcje testów, m.in. test wstępny i końcowy, quizy, ocenę kursu i egzamin certyfikujący. Dostępne są też różne opcje zabezpieczeń, np. pozwalające użytkownikowi na poruszanie się po treści sprawdzianu, przy jednoczesnym ograniczeniu dostępu do internetu, dysku lokalnego, drukarki i klawiszy funkcyjnych oraz zabezpieczenia związane z tzw. proctoring security (drugie logowanie wykonane przez osobę nadzorującą - rozpoczęcie testu po identyfikacji kursanta).

Co istotne - oprogramowanie może być licencjonowane lub też używane jako usługa hostingowa. Dodatkowo Questionmark wspiera otwarte standardy, które umożliwiają współpracę pomiędzy najlepszymi platformami (AICC, ADL, SCROM, .NET, HRXML, IMS, JSR-168).

Przykłady egzaminów z wykorzystaniem Perception

Przedstawione zrzuty z ekranu prezentują niektóre przykłady zadań z tabelą nawigacji oraz czas pozostały do końca, wyświetlany przy danym użytkowniku.

Rysunek 1. Typ pytania: lista rozwijana Źródło: http://asptest.de/ihkpotsdamem4/Reporting/Survey/survey.asp
Rysunek 2. Typ pytania: dopasowywanie Źródło: dz. cyt.
Rysunek 3. Typ pytania: esej Źródło: dz. cyt.
Rysunek 4. Perception Authoring Manager z kreatorem treści Źródło: dz. cyt.
Rysunek 5. Statystyki odpowiedzi udzielonych na pytania Źródło: dz. cyt.

Klienci

Instytucje na światowym rynku korporacyjnym używają Perception dla różnych celów. Dla przykładu T-mobile USA uzyskuje natychmiastowe wyniki w szkoleniach technicznych, a firma Schlumberger France, wykorzystując Questionmark Perception, bada efektywność swoich szkoleń. Alcatel Germany używa systemu oceniania w szkoleniach, a Toshiba Europe certyfikuje kadrę techniczną swoich partnerów w usługach.

Niektórzy klienci używają Perception w połączeniu z systemami zarządzania zasobami ludzkimi i szkoleniami (systemy typu HR, LMS). Dostępny jest na przykład interfejs do SAP's eRecruting and Learning Management System. Użytkownicy Questionmark Perception mogą wykorzystać wyszukany system do tworzenia narzędzi oceniania w SAP Enterprise Learning. Sprawdziany Questionmark mogą być przeprowadzane wśród uczniów używających SAP Solutions indywidualnie lub w grupach. Gdy uczeń przystępuje do sprawdzianu, Questionmark Perception akceptuje jego ID i autoryzację przez SAP, więc nie musi się on oddzielnie logować. Na zakończenie rezultaty sprawdzianu są automatycznie wprowadzane do SAP Solution.

Kolejnym przykładem jest Perception Moodle-Connector, który umożliwia nauczycielom i uczniom używanie obu systemów za jednym zalogowaniem w zintegrowanym środowisku. Ta cecha sprawia, że Perception jest używany w kręgach akademickich takich uczelni, jak: Harvard Univeristy, MIT, Stanford University w USA, Sheffield University, London University i Oxford University w Wielkiej Brytanii, Université de Paris oraz Université de Versailles Saint-Quentin we Francji, Katholieke Universiteit Leuven w Beligii, Universiteit Amsterdam i Koninklijke Militaire Academie w Holandii, Universität Magdeburg oraz Universität Erlangen-Nürnberg w Niemczech, Karl-Franzens-Universität Graz i Studiengänge der Wirtschaft Wien w Austrii, Universita di Roma we Włoszech, Beijing Foreign Studies University w Chinach oraz St Petersburg University w Rosji.

Zastosowanie

Obecnie coraz bardziej istotne staje się rozróżnienie wymogów bezpieczeństwa dla każdego typu oceny oraz sposobów ich dostarczania. Niezwykle skomplikowany test o niskim znaczeniu wiąże się z niepotrzebnymi kosztami i stratą czasu, natomiast zbyt prosty test o potencjalnie dużym znaczeniu może budzić kontrowersje wśród ocenianych osób (trafność fasadowa).

Jednym z ważnych rozróżnień jest to, czy zinformatyzowane ocenianie jest wykorzystywane do pomiaru wiedzy, umiejętności, postaw, cech osobowości, czy do wspomagania zapamiętywania. Innym sposobem podziału form oceniania jest podział ze względu na konsekwencje ich rezultatów, które mogą wiązać się np. - w przypadku zastosowań zawodowych - z zatrudnieniem, zwolnieniem, awansem bądź degradacją. W rezultacie osoby poddawane ocenie mogą np. ukończyć dany kurs albo otrzymać certyfikat uprawniający do pełnienia określonej roli (stanowiska) lub podjęcia pracy. Waga potencjalnych rezultatów testu wpływa również na stopień zabezpieczeń, jaki powinien zostać zastosowany w danym sprawdzianie. Konkretne formy oceny są określane mianem quizów, testów, egzaminów lub ankiet - w zależności od tego, czy założeniem oceniania jest pomiar rezultatów, czy wspomaganie uczenia się.

Tabela 1. Cel stosowania i waga poszczególnych form testowania

Forma	Definicja w kontekście zinformatyzowanej oceny	Cel zastosowania	Konsekwencje lub ryzyko związane z osiągniętym wynikiem
Ocena	każda systematyczna metoda związana z uzyskiwaniem odpowiedzi na pytania i wnioskowaniem na tej podstawie o wiedzy, postawach czy też innych cechach ludzi
Egzamin	ocena końcowa wykorzystywana do pomiaru wiedzy i umiejętności studentów w celu udokumentowania aktualnego poziomu	pomiar wiedzy	wysokie
Quiz	ocena cząstkowa wykorzystywana do pomiaru wiedzy i umiejętności osób uczących - się w celu dostarczenia informacji zwrotnej o ich aktualnym poziomie wiedzy i umiejętności	wspomaganie uczenia się	niskie
Ankieta	ocena diagnostyczna służąca do pomiaru wiedzy, umiejętności i/lub postaw członków grupy w celu określenia potrzeb - niezbędnych do osiągnięcia założonego celu	pomiar	niskie
Test	ocena diagnostyczna służąca do pomiaru wiedzy i umiejętności danej osoby uczącej się - uzyskanie informacji o jej aktualnym poziomie wiedzy lub umiejętności	pomiar w celu wspomagania uczenia się	średnie

Źródło: opracowanie własne
Dodatkowo ocena może być również sklasyfikowana według jej zastosowania (tab. 2).

Tabela 2. Typy oceny

Typ oceny	Wpływ na użytkowników
Cząstkowa, formatywna	formy oceny zaprojektowane tak, aby pomóc uczącym się zamienić informacje w wiedzę - poprzez zadawanie pytań, które wspomagają zapamiętywanie
Końcowa, sumatywna	formy oceny zaprojektowane w celu określenia poziomu wiedzy, umiejętności i postaw użytkowników - poprzez zadawanie pytań i pomiar odpowiedzi
Diagnostyczna	formy zaprojektowane tak, aby zdiagnozować poziom wiedzy i pomóc danym osobom uczącym się osiągnąć ich cele

Źródło: opracowanie własne
Tabela 3. przedstawia szczegółowe zagadnienia, które powinny być wzięte pod uwagę podczas stosowania zinformatyzowanej oceny.

Tabela 3. Uwarunkowania realizacji poszczególnych form oceny

Forma oceny	Zagadnienia
Egzamin	trafność fasadowa duża motywacja do ściągania nacisk na treść kosztowne lub czasochłonne tworzenie treści ochrona treści uwierzytelnianie kandydata poprawna autoryzacja limitowany czas dostępu ("okienko czasu" widoczne dla użytkownika) ograniczenie wielokrotnego podchodzenia do egzaminu przez daną osobę konsekwentny sposób dostarczania wymóg zastosowania bezpiecznej przeglądarki częste zapisywanie odpowiedzi w razie problemów technicznych
Quiz	ochrona treści zagadnienia osadzone w rzeczywistości niewielka motywacja do ściągania
Ankieta	zafałszowanie odpowiedzi anonimowość ankietowanych
Test	trafność fasadowa wysoka motywacja do ściągania nacisk na treść ochrona treści ograniczenie wielokrotnego podchodzenia do egzaminu przez daną osobę konsekwentny sposób dostarczania rekomendowane zastosowanie bezpiecznego odtwarzacza częste zapisywanie odpowiedzi w razie problemów technicznych

Źródło: opracowanie własne
Questionmark dostarcza technologie umożliwiające bezpieczne tworzenie, dostarczanie i analizowanie ocen, jak również usługi wspierające skuteczne stosowanie tych technologii, nie oferuje jednak bazy gotowych testów.

Produkty oraz usługi Questionmark i TELERAT

Questionmark Perception
System zarządzania narzędziami oceniania umożliwiający edukatorom i trenerom tworzenie, planowanie, dostarczanie i raportowanie badań, quizów, testów i egzaminów.

Rozwiązania hostingowe i subskrypcje
Usługi te dostarczają możliwość zastosowania produktów Questionmark do tworzenia, planowania, dostarczania i raportowania, bez konieczności wydatków związanych z zakupem sprzętu, jego aktualizacją i utrzymaniem.

Interfejsy
Interfejsy są dostępne dla różnych systemów zarządzania, programów i narzędzi online. Zobowiązanie Questionmark odnośnie standardów sprawia, że łatwo jest zintegrować Perception z innymi produktami, np. SAP, Blackboard i Moodle.

Usługi konsultingowe
Usługi konsultingowe TELERAT (TELERAT Consulting Services) pomagają klientom zaplanować ich systemy oceniania, połączyć je w sposób efektywny z istniejącymi aplikacjami, a w efekcie korzystać z nich z powodzeniem.

Usługi treningowe
TELERAT dostarcza różnorodne możliwości szkoleniowe użytkownikom planującym wykorzystać jak najwięcej możliwości Questionmark, czy też nauczyć się dobrych praktyk tworzenia pytań i efektywnych sprawdzianów.