AAA

Kokpity menedżerskie jako narzędzie monitorowania efektów kształcenia studentów

Piotr Ziuziański, Małgorzata Furmankiewicz, Anna Sołtysik-Piorunkiewicz

Celem artykułu jest scharakteryzowanie kokpitów menedżerskich oraz prezentacja możliwości ich zastosowania w obszarze edukacji, ze szczególnym uwzględnieniem monitorowania efektów kształcenia studentów. Kokpit menedżerski to przydatne narzędzie business intelligence, służące integracji i wizualizacji danych, korzystające niejednokrotnie z hurtowni danych. Kokpit dzięki swoim zaletom może z powodzeniem być wykorzystywany w jednostkach edukacyjnych.
W opracowaniu zidentyfikowano i opisano dwa zasadnicze konteksty monitorowania wydajności e-learningu: obserwowanie postępów studentów przez wykładowców (nauczycieli) oraz automonitorowanie postępów w nauce przez studentów. Zaprezentowano także kokpit menedżerski jako użyteczny interfejs graficzny analityki na podstawie danych pochodzących z systemów zarządzania nauczaniem (learning management systems, LMS), które również zostały krótko zdefiniowane.

Jak doskonalić sposoby przekazywania wiedzy oraz jakich narzędzi używać w celu monitorowania i podnoszenia efektów kształcenia uczniów, studentów czy kursantów? Takie pytania coraz częściej stawiane są zarówno przez nauczycieli akademickich (wykładowców, mentorów, trenerów), jak i jednostki edukacyjne zajmujące się kształceniem tradycyjnym i na odległość1. Zastosowanie kokpitów menedżerskich, a także narzędzi informatycznych służących do analizy biznesowej i wizualizacji danych, może stanowić próbę odpowiedzi na to pytanie.

Kokpit menedżerski to zestaw narzędzi w przeglądarce internetowej umożliwiający monitorowanie kluczowych wskaźników postępu prac studentów z zastosowaniem interaktywnych wykresów i tabel2. Zastosowanie tego typu narzędzi w edukacji pozwala na pełne wykorzystanie interaktywności w przestrzeni elektronicznej i wpływa na poprawę wyników kształcenia głównie poprzez poprawę relacji pomiędzy nauczycielem a studentem, a także między studentem a jednostką edukacyjną (rys. 1).

Rysunek 1. Relacje nauczyciel - student - jednostka edukacyjna w wirtualnej przestrzeni

Źródło: opracowanie własne.

Istota kokpitu menedżerskiego

Kokpity menedżerskie to graficzne, interaktywne interfejsy, które udostępniają wykresy, karty wyników oraz mierniki powiązane z określonymi raportami umożliwiającymi śledzenie kluczowych wskaźników wydajności (key performance indicators, KPI)3, a także zmian i przekroczeń określonych zmiennych za pomocą alertów. Kokpity menedżerskie uważa się obecnie za jeden z najczęściej wykorzystywanych sposobów prezentacji danych na podstawie metodologii zrównoważonej karty wyników (balanced scorecard, BSC)4. Niektórzy autorzy klasyfikują kokpity jako szczególny rodzaj systemów wspomagania decyzji (decision support systems, DSS)5. W istocie kokpity to wizualne i interaktywne systemy zarządzania, które gromadzą najważniejsze informacje na jednym ekranie6. Według Stephena Fewa powinny one służyć do monitorowania, a nie analizy bieżącej sytuacji przedsiębiorstwa7. Rysunek 2 prezentuje zestawienie różnych ujęć definicji kokpitu menedżerskiego przedstawionych w ostatnich latach w literaturze.

Rysunek 2. Zestawienie definicji kokpitów menedżerskich

Źródło: opracowanie własne na podstawie literatury8.

Kokpit menedżerski stanowi narzędzie wizualizacji. Pod pojęciem wizualizacji kryją się wszystkie typy wizualnej reprezentacji wspierające eksplorację, analizę i przekazywanie danych9,10. Wizualizacja ma ogromne znaczenie z uwagi na fakt, że około 70 proc. wszystkich receptorów w całym ciele człowieka zlokalizowanych jest w siatkówce oka. Najwięcej informacji dociera zatem ze świata za pośrednictwem zmysłu wzroku - jest to najbardziej efektywny i wydajny kanał komunikacyjny11.

Prawidłowo opracowany kokpit powinien charakteryzować się cechami, które w literaturze znalazły odzwierciedlenie w akronimie SMART IMPACT, który można przetłumaczyć jako „inteligentny wpływ12. Rozwinięcie akronimu wraz z krótką charakterystyką zostało przedstawione w tabeli 1.

Tabela 1. SMART IMPACT - charakterystyka kokpitu

Litera akronimu Rozwinięcie Tłumaczenie Charakterystyka
S synergic synergiczny ergonomiczna i wizualna efektywność dzięki synergii przedstawienia informacji w różnych ujęciach
M monitor KPIs monitorowanie KPI monitorowanie KPI w celu efektywnego podejmowania decyzji
A accurate dokładny ścisłe informacje oparte na wiarygodnych danych
R responsive precyzyjny reagowanie na odchylenia od założonych wartości (alerty)
T timely czasowy czasowy dostarczanie aktualnych informacji, na których podstawie możliwe jest podejmowanie decyzji na bieżąco
I interactive interaktywny umożliwienie zagłębiania się w coraz bardziej szczegółowe przyczyny pojawienia się danego problemu
M more data history posiadający dane historyczne możliwość śledzenia trendów dzięki danym historycznym
P personalised spersonalizowany personalizacja poprzez prezentację w określony sposób danych przeznaczonych dla konkretnego użytkownika
A analytical analityczny możliwość prostego prowadzenia analiz dzięki graficznej nawigacji, porównywanie, drążenie danych
C collaborative współpracujący współpraca dzięki ułatwieniu komunikacji, dzieleniu się spostrzeżeniami odnośnie obserwacji indywidualnych kokpitów
T trackability umożliwiający śledzenie umożliwienie wyboru monitorowania wskaźników, które są najważniejsze dla danego pracownika

Źródło: opracowanie własne na podstawie: S. Malik, dz.cyt., s. 8-9.

Zadaniem kokpitów jest organizowanie i prezentowanie informacji w czytelny sposób. Odpowiednie reprezentacje wizualne w kokpitach, wykorzystujące takie elementy jak kolor, rozmiar i kształt, są połączone z możliwością interaktywnej eksploracji w celu wzmocnienia ludzkiej percepcji i zwiększenia stopnia zrozumienia informacji13.

Kokpity koncepcyjnie przypominają deski rozdzielcze wykorzystywane w samochodach lub samolotach - w uproszczony sposób prezentują bieżące i historyczne wskaźniki wydajności przedsiębiorstwa w postaci liczników, tabel i wykresów 14. Zazwyczaj kokpit pokazany jest na jednym ekranie (niejednokrotnie w przeglądarce internetowej) i wykorzystuje kolory drogowej sygnalizacji świetlnej w celu pokazania postępów dokonujących się na drodze do obranego celu. Kokpity nie stanowią statycznej reprezentacji wiedzy czy informacji - są aktualizowane regularnie (np. codziennie czy co godzinę) 15.

Jak już wspomniano, kokpit menedżerski powinien charakteryzować się interaktywnością. Jego podstawowe funkcjonalności to16:

  • drążenie danych (drill down) - możliwość przejścia od danych ogólnych do szczegółowych,
  • filtrowanie - możliwość określenia na kokpicie zakresu danych odpowiadających potrzebom użytkowników,
  • porównywanie - możliwość przeglądania dwóch lub większej liczby podzbiorów danych obok siebie,
  • alerty - wyróżnianie informacji na podstawie predefiniowanych kryteriów; alarm może zostać aktywowany, gdy dana metryka przekracza zdefiniowany zakres,
  • eksportowanie - pozwala na ściągnięcie danych z kokpitów i wyeksportowanie ich do pliku (np. PDF, CSV).

Poprawnie zaprojektowany i wdrożony kokpit menedżerski w organizacji w ramach systemu business intelligence może być pomocny kadrze zarządzającej w procesie decyzyjnym i dostarczać niezbędnej wiedzy nie tylko na poziomie strategicznym, ale także operacyjnym i taktycznym17.

Podsumowując, kokpit menedżerski to łatwe w obsłudze przedstawienie danych, wpływające na mierzalny wzrost wartości organizacji18. Kokpity menedżerskie, przynależące do warstwy prezentacji systemu business intelligence, są coraz powszechniej stosowane w organizacjach ze względu na zaletę, jaką jest integracja i wizualizacja danych w syntetycznej i wygodnej formie19. Rysunek 3 prezentuje jeden z przykładowych kokpitów menedżerskich wykorzystywanych w zarządzaniu organizacją, dotyczący sprzedaży firmy BusinessQ.

Rysunek 3. Przykładowy kokpit dotyczący sprzedaży firmy BusinessQ

Źródło: BusinessQ BI Portal, http://businessqdemo.qualia.hr/Reporting/Dashboard.html?id=15, [18.04.2015].

Obszar kokpitu w lewym górnym rogu wyświetla podstawowe wskaźniki efektywności: wartość sprzedaży, koszty własne sprzedaży, wartość udzielonego rabatu i zyski. Kokpit jest w pełni interaktywny: można filtrować dane względem produktów i sprzedawców, a po najechaniu myszką na poszczególne elementy uzyskuje się dodatkowe informacje. W prawym górnym rogu zaprezentowano wykres korelacji pomiędzy sprzedażą i kosztami a udzielonym rabatem. Na środku po lewej stronie widoczny jest dochód w podziale na poszczególne regiony. Wartości zaprezentowane są za pomocą wykresów określanych jako sparklines i bullet graphs. Sparklines (uproszczone wykresy liniowe po lewej stronie) informują o trendzie na podstawie danych z ostatnich 12 miesięcy20. Natomiast zadaniem bullet graphs (uproszczonych wykresów słupkowych) jest informowanie o stopniu realizacji założonego planu. Czerwony kolor kółka po lewej stronie sparklines zwraca uwagę na problemy w realizacji planu. Pionowe linie bullet graphs to założony cel, niebieski słupek to faktyczna obecna wartość. Na prawo od sparklines i bullet graphs widoczne są dwa wykresy przedstawiające produkty (z lewej strony) i sprzedawców (z prawej strony) z największą sprzedażą. Wykresy u dołu kokpitu informują o sumarycznej całorocznej sprzedaży w podziale na sprzedawców (z lewej strony) i na kategorie produktów (po prawej stronie).

Możliwości wykorzystania kokpitów menedżerskich w jednostkach edukacyjnych

Kokpity menedżerskie mogą stanowić narzędzie monitorujące w jednostkach edukacyjnych, takich jak np. szkoły, uczelnie, ośrodki szkoleniowe itp. Wiele takich jednostek, posiadających dane statystyczne z różnych systemów, korzysta z rozwiązań opartych na hurtowniach danych i wdraża kokpity menedżerskie21. W szczególności w ramach szkolnictwa wyższego business intelligence (BI) jest postrzegane jako rozwiązanie pozwalające zwiększyć wydajność na poziomie operacyjnym22. Rozwiązania BI umożliwiają monitorowanie procesu edukacji, wydajności i problemów behawioralnych poszczególnych studentów, jak również jednostki edukacyjnej jako całości. Kokpity potrafią skonsolidować kluczowe wskaźniki w postaci łatwego w obsłudze interfejsu. Mogą być automatycznie aktualizowane na podstawie danych przechowywanych w wirtualnych dziekanatach23.

Kokpity mogą wspierać edukację, w tym np. szkolnictwo wyższe, na wielu płaszczyznach - zarówno na poziomie studenta i nauczyciela, jak też na poziomie administracyjnym całej jednostki edukacyjnej. Mogą być wykorzystywane na uczelni w celu wspierania procesu edukacyjnego w ramach e-learningu, a także przez jednostki kierownicze w procesie podejmowania decyzji24.

Wyróżnić można m.in. kokpity25:

  • wspierające tradycyjne wykłady,
  • wspierające pracę w grupie i organizację klasy,
  • wspierające zajęcia realizowane w formie blended learningu lub online learningu.

Niejednokrotnie kokpity menedżerskie pojawiają się w tzw. systemach zarządzania nauczaniem (learning management systems, LMS)26. Są to edukacyjne systemy informatyczne (platformy e-learningowe), wspierające organizację i prowadzenie kształcenia online27. W przypadku systemów LMS główne cele to: stworzenie możliwości publikowania treści dydaktycznych w wersji elektronicznej oraz efektywne zarządzanie użytkownikami i zasobami edukacyjnymi28. LMS powinny także umożliwiać sporządzanie przekrojowych raportów i statystyk dzięki rejestracji danych związanych z aktywnością osób uczestniczących w procesie nauczania akademickiego czy korporacyjnego29 . Cele analityczne stawiane przed systemami LMS z powodzeniem mogą być realizowane przy wykorzystaniu kokpitu menedżerskiego30.

Monitorowanie postępów studentów przez wykładowców

Rozwój platform edukacyjnych w ramach tzw. edukacyjnych kokpitów menedżerskich umożliwia monitorowanie postępów studentów przez nauczycieli w trybie online w pełnym zakresie, tzn. uzyskiwania informacji dotyczących jakości i terminowości realizowania zadań oraz jakości i częstotliwości uczestniczenia w kursie.

Kokpit menedżerski może stanowić narzędzie wizualizacji analityki procesu kształcenia online (learning analytics, LA), której celem jest gromadzenie i wykorzystywanie śladów pozostawionych przez uczniów w internecie. Wizualizacja ta może dostarczyć wielu istotnych informacji zarówno nauczycielom, jak i uczniom.

Nauczyciel może obserwować na żywo statystyki dotyczące aktywności studentów i interweniować, odpowiednio dostosowując kurs w razie potrzeby (np. system powiadamiania oparty na analityce jest w stanie przewidzieć, kiedy uczniowie mają zamiar wycofać się z uczestnictwa w zajęciach)31. Z drugiej strony motywacja uczących może się poprawić, jeśli uczniowie są w stanie porównać swoje indywidualne postępy z wynikami rówieśników. Celem LA jest lepsze zrozumienie, w jaki sposób uczyć się i doskonalić proces uczenia się32.

Zarządzanie zasobami informacyjnymi związanymi z postępami studentów jest wynikiem pełnej dostępności danych dotyczących zmian zachodzących podczas procesu uczenia się zarówno dla studentów, jak i nauczycieli, i wpływa pozytywnie na podniesienie efektywności nauczania zarówno z perspektywy tych pierwszych, jak i tych drugich33. Oprócz tego, że kokpity pozwalają monitorować pracę studenta, mogą stanowić również środek motywujący, budować zaangażowanie uczestnika kursu w realizację zadań oraz podnoszenie umiejętności komunikacji z nauczycielem i z innymi studentami w ramach pracy grupowej, a także aktywizować studentów dzięki wizualizacji ich wyników34. Przedstawienie informacji za pomocą kokpitu może wpłynąć pozytywnie na efekty kształcenia.

Rola nauczyciela zmienia się - jej ewolucję można obserwować na przykładzie zmian w podejściu do nauczania w procesie e-learningu, uwzględniającego tzw. edusourcing35. Nauczyciel staje się osobą wspomagającą, kontrolującą, motywującą, koordynującą proces nauczania z wykorzystaniem nowoczesnych asynchronicznych metod dydaktycznych, równocześnie realizując proces dydaktyczny w grupie studentów. Staje się moderatorem treści dydaktycznych i jest też zobowiązany do organizacji czasu pracy uczących się. Zarządzanie aktywizacją studentów jest w takim modelu nauczania jednym z istotniejszych elementów wpływających na ich postępy, a monitorowanie tego procesu za pośrednictwem kokpitu menedżerskiego powinno umożliwiać prezentację danych o dużej szczegółowości36. Źródłem danych dla kokpitu może być np. baza danych gromadząca informacje na temat realizacji procesu nauczania w danym kursie e-learningowym na platformie Moodle37 czy coraz popularniejszy e-dziennik.

Przykładem kokpitu wykorzystywanego w edukacji jest Student Activity Meter (SAM). Umożliwia on wizualizowanie postępów w nauce i śledzenie rezultatów zarówno studentowi, jak i wykładowcy. Kokpit udostępnia m.in. wykresy dotyczące czasu spędzonego przez studenta na uczeniu się, z uwzględnieniem minimalnej, maksymalnej oraz średniej aktywności (rys. 4)38.

Rysunek 4. SAM - kokpit wykorzystywany do monitorowania e-learningu przez studenta i wykładowcę

Źródło: K. Verbert, et al., dz.cyt., s. 8.

Innym przykładem kokpitu umożliwiającego monitorowanie studentów przez nauczycieli jest zaproponowany przez Stephena Fewa kokpit menedżerski, który został zaprezentowany na rysunku 5. Kokpit przedstawia listę studentów wraz ze wskaźnikami informującymi o postępach uczestników kursu. Studenci wymagający poświęcenia im większej uwagi zostali oznaczeni niebieską ikoną z lewej strony nazwiska. Kolumna Overall Course Grade informuje o ogólnej ocenie studenta. Autor kokpitu wydzielił odpowiednie pasma dla konkretnych ocen. Na pasmach została zaznaczona bieżąca ocena studenta wraz z wyznaczonym dla niego celem (pionowa biała linia) i oceną z poprzedniego semestru (krzyżyk). Kolejne „kolumny” dotyczą realizacji zadań, frekwencji i zachowania studenta. U dołu kokpitu widoczne są wykresy podsumowujące klasę, np. pierwszy wykres pokazuje procentowy rozkład ocen studentów. Dzięki temu możliwe są łatwe porównania poziomu studenta do poziomu klasy.

Rysunek 5. Propozycja kokpitu menedżerskiego dla nauczyciela według Stephena Fewa

Źródło: Perceptual Edge, http://www.perceptualedge.com/blog/wp-content/uploads/2013/01/student-performance-dashboard.jpg, [20.04.2015].

Automonitorowanie postępów studentów w procesie edukacji

Zasadniczym celem tworzenia kokpitu menedżerskiego dla studenta jest umożliwienie mu łatwego dokonania oceny sytuacji, w jakiej się znajduje, uczestnicząc w kursie e-learningowym, oraz osiąganych przez niego postępów. Przed rozpoczęciem projektowania należy zdefiniować grupę docelowych odbiorców oraz zakres udostępnianych danych. W kontekście automonitorowania postępu studenta w procesie e-learningu wyróżnić można następujące wskaźniki KPI39:

  • procent realizacji całego materiału kursu e-learningowego,
  • procent realizacji materiału danego tematu kursu, z uwzględnieniem statusu tematu, np. „nie rozpoczęto”, „w trakcie realizacji”, „zamknięty”, „zakończony”,
  • procent tematów, które zostały zrealizowane w wyznaczonym terminie,
  • średnia ocena z testów weryfikujących zdobytą wiedzę,
  • procent poprawnie udzielonych odpowiedzi na pytania weryfikacyjne, z podziałem na poszczególne tematy kursu, oraz sumaryczna ocena procentowa zrealizowania całego kursu wraz z informacją szczegółową dotyczącą oceny rezultatów (zarówno na poziomie danego tematu, jak i całości kursu),
  • informacja o ilości czasu spędzonego w systemie przez uczestnika, z podziałem na poszczególne dni i tygodnie oraz tematy.

Przykładem kokpitu wykorzystywanego do samooceny studenta jest OLI (Open Learning Initiative) opracowany w Carnegie Mellon University w Pittsburghu (rys. 6). Kokpit ten uwzględnia w wyświetlanych wskaźnikach samoocenę studenta40.

Rysunek 6. OLI - kokpit wykorzystywany do samooceny studenta

Źródło: K. Verbert, et al., dz.cyt., s. 7.

Kolorowa skala na kokpicie dostarcza ogólnej informacji na temat postępów w kursie w podziale na różne kategorie. Środkowa część dotyczy realizacji zadań w podziale na różne kategorie, takie jak: praca grupowa, komunikacja, esej. Ikony odwołujące się do trójkolorowej, intuicyjnie skonstruowanej sygnalizacji świetlnej, dostarczają informacji dotyczących realizacji celów. Wskaźniki te wyliczane są na podstawie aktywności, którymi przeplecione są materiały kursu online.

Innym przykładem kokpitu, który może być użyteczny dla uczestnika kursu e-learningowego, jest np. wtyczka SmartKlass na platformie Moodle. Rysunek 7 prezentuje kokpit SmartKlass dla studenta.

Rysunek 7. SmartKlass - kokpit dla studenta

Źródło: SmartKlassTM for students. User's Guide, http://klassdata.com/wp-content/uploads/2014/12/Students_guide_SmartKlass.pdf, [20.04.2015].

Charakterystyczny dla kokpitów menedżerskich „prędkościomierz” z lewej strony pokazuje indywidualne osiągnięcia studenta w porównaniu do średniej grupy („licznik” z prawej strony). Wykres u dołu kokpitu prezentuje indywidualną ocenę studenta w porównaniu z oceną grupy studentów dotyczącą ostatnich piętnastu dni41.

Podsumowanie

W artykule przedstawiono istotę kokpitów menedżerskich, zestawiając ich definicje, które można odnaleźć w literaturze przedmiotu. Autorzy zidentyfikowali obszary zastosowań kokpitów menedżerskich w edukacji. Zaprezentowali także dwa zasadnicze konteksty monitorowania efektów kształcenia studentów: monitorowanie postępów studentów przez wykładowców (nauczycieli) oraz automonitorowanie postępów w nauce przez studentów w odniesieniu do e-learningu. W opracowaniu przedstawiono przykładowe kokpity w obu kontekstach. W pierwszym kontekście kokpit menedżerski poprzez śledzenie rezultatów studentów wspiera wykładowcę m.in. w podejmowaniu decyzji w obszarze oceny studentów czy dopasowania treści i formy nauczania do ich potrzeb. W drugim - automonitorowanie studentów za pośrednictwem kokpitu może motywować i aktywizować uczestników kursu, dzięki możliwości śledzenia wyników i porównania ich do wyników grupy. Prawidłowo skonstruowany kokpit menedżerski może stanowić użyteczne i wygodne narzędzie wizualizacji analityki procesu kształcenia online.

Bibliografia

  • 5 Unorthodox Principles for Dashboard Success, http://go.antivia.com/rs/antivia/images/5%20unorthodox%20principles%20of%20dashboard%20design.pdf.
  • A Guide to Creating Dashboards People Love to Uses, http://www.juiceanalytics.com/wp-content/uploads/2010/11/Guide_to_Dashboard_Design.pdf.
  • Alexander M., Walkenbach J., Analiza i prezentacja danych w Microsoft Excel. Vademecum Walkenbacha, Helion, Gliwice 2014.
  • Arnott D., Pervan G., A critical analysis of decision support systems research, „Journal of Information Technology” 2005, Vol. 20, s. 67-87, http://dx.doi.org/10.1057/palgrave.jit.2000035.
  • Bajzek D., Brown W., Lovett M., Rule G., Inventing the Digital Dashboard for Learning, [w:] Montgomerie C., Seale J. (eds.), Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications, Chesapeake, 2007, s. 1084-1092.
  • Collado E., Experiences in Using Academic Data for BI Dashboard Development, 2014, http://support.sas.com/ resources/papers/proceedings14/1493-2014.pdf.
  • Dietz-Uhler B., Hurn J.E., Using Learning Analytics to Predict (and Improve) Student Success: A Faculty Perspective, „Journal of Interactive Online Learning” 2013, Vol. 12, No. 1, s. 17-26.
  • Dollár A., Steif P.S., Web-based Statics Course with Learning Dashboard for Instructors, [w:] Uskov V. (ed.), Proceedings of Computers and Advanced Technology in Education (CATE 2012), Napoli, 25-27.06.2012, http://dx.doi.org/10.2316/P.2012.774-025.
  • Dudycz H., Visualization Methods in Business Intelligence Systems: an Overview, [w:] Korczak J. (red.), Business Informatics, Data Mining and Business Intelligence, „Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu/ Research Papers of Wrocław University of Economics” 2010, Vol. 16, No. 104, s. 9-24.
  • Eckerson W.W., Performance Dashboards. Measuring, Monitoring and Managing Your Business, John Wiley & Sons, Hoboken 2006.
  • Elias M., Bezerianos A., Exploration Views: Understanding Dashboard Creation and Customization for Visualization Novices, [w:] Campos P., Graham N., et al. (eds.), Human-Computer Interaction - INTERACT 2011. Proceedings of INTERACT 2011 - 13th IFIP TC13 Conference on Human-Computer Interaction, s. 274-291, http://dx.doi.org/ 10.1007/978-3-642-23768-3_23.
  • Executive Dashboard Implementation Guide 2010, Healthcare Information and Management Systems Society, 2010.
  • Few S., Information Dashboard Design. Displaying data for at-a-glance monitoring, Analytics Press, Burlingame 2013.
  • Few S., Now You See It. Simple Visualization Techniques for Quantitative Analysis, Analytic Press, Oakland 2009.
  • Few S., Show me the numbers. Designing Tables and Graphs to Enlighten, Analytic Press, Burlingame 2012.
  • Furmankiewicz J., Furmankiewicz M., Ziuziański P., Implementation of business intelligence performance dashboard for the knowledge management in organization, „Zeszyty Naukowe Politechniki Śląskiej. Seria: Organizacja i Zarządzanie” 2015, nr 78.
  • Furmankiewicz M., Ziuziański P., Wdrażanie kokpitu menedżerskiego w ramach systemu BI w organizacji, „Przegląd Teleinformatyczny” 2014, nr 1-2(37).
  • Govaerts S., Verbert V., Duval E., Pardo A., The student activity meter for awareness and self-reflection, The ACM SIGCHI Conference on Human Factors in Computing Systems, conference proceedings, Austin, TX, 5-10 May 2012, s. 869-884, https://lirias.kuleuven.be/bitstream/123456789/343059/1/sigchi2012-casestudy.pdf.
  • Guster D., Brown C.G., The application of business intelligence to higher Education: technical and managerial perspectives, „Journal of Information Technology Management” 2013, Vol. XXIII, No. 2, s. 42-62.
  • Guzek J., Pulpit menedżerski studenta jako narzędzie wizualizacji jego postępów w procesie e-learning, „Rola Informatyki w Naukach Ekonomicznych i Społecznych. Innowacje i Implikacje Interdyscyplinarne” 2010, nr 2, s. 39-45.
  • Kimberly E.A., Pistilli M.D., Course Signals at Purdue: Using Learning Analytics to Increase Student Success, [w:] Shum S.B., Gasevic D., Furguson R. (eds.), Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York 2012, s. 267-270, http://dx.doi.org/10.1145/2330601.2330666.
  • Kotnis M., Właściwości systemów e-learning w procesie rozwoju pracowników, [w:] Sroka H., Porębska-Miąc T. (red.), Systemy Wspomagania Organizacji SWO 2005, Wydawnictwo Akademii Ekonomicznej, Katowice 2005, s. 475-482.
  • Leony D., Pardo A., de la Fuente Valentín L., Sánchez de Castro D., Delgado Kloos C., GLASS: a learning analytics visualization too, [w:] Shum S.B., Gasevic D., Furguson R. (eds.), Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York 2012, s. 162-163, http://dx.doi.org/10.1145/2330601.2330642.
  • Lofvinga V., The Purposes of Performance Dashboard Use: A Case of a Procurement Performance Management SaaS Provider, Department of Information and Service Economy Aalto University School of Business, 2013.
  • Malik S., Enterprise Dashboards. Design and Best Practices for IT, John Wiley & Sons, Hoboken 2005.
  • Marciniak B., Systemy wspomagające decyzje marketingowe w przedsiębiorstwach - aspekty teoretyczne i praktyczne, „Studia i Prace Kolegium Zarządzania i Finansów SGH” 2011, nr 110, s. 51-68.
  • Murray T., Wing L., Woolf B., A Dashboard for Visualizing Deliberative Dialogue in Online Learning, [w:] Kim J., Kumar R. (eds.), Proceedings of 2nd Workshop on Intelligent Support for Learning in Groups - in association with AIED 2013, 2013, s. 33-36.
  • Olszak C.M., Analiza i ocena wykorzystania systemów Business Intelligence w zarządzaniu organizacją, [w:] Kisielnicki J. (red.), Informatyka dla przyszłości, Wydawnictwo Naukowe Wydziału Zarządzania Uniwersytetu Warszawskiego, Warszawa 2008.
  • Orzechowski R., E-business Intelligence, „e-mentor” 2005, nr 2(9), s. 69, http://www.e-mentor.edu.pl/artykul/index/numer/9/id/143, s. 76-80.
  • Smok B., Kokpit menedżerski a system wczesnego ostrzegania, [w:] tegoż (red.), Business Intelligence w zarządzaniu, Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu, Wrocław 2010.
  • Sołtysik A., Hurtownie danych i narzędzia OLAP w procesach wspomaganiach decyzji, [w:] Sroka H., Wolny W. (red.), Inteligentne systemy wspomagania decyzji, Wydawnictwo Akademii Ekonomicznej w Katowicach, Katowice 2009.
  • Sołtysik-Piorunkiewicz A., Furmankiewicz M., Ziuziański P., Kokpit menedżerski jako narzędzie do wspomagania decyzji prosumenta w e-zdrowiu, [w:] Pańkowska M. (red.), Uwarunkowania technologiczno-społeczne i modele prosumpcji, Wydawnictwo Uniwersytetu Ekonomicznego w Katowicach, Katowice 2014.
  • Sołtysik-Piorunkiewicz A., Furmankiewicz M., Ziuziański P., Zaawansowane techniki graficznej analizy danych epidemiologicznych na kokpicie menedżerskim, „Informatyka ekonomiczna (Business Informatics)” 2014, nr 2(32), s. 64-77, http://dx.doi.org/10.15611/ie.2014.2.06.
  • Sołtysik-Piorunkiewicz A., Rozwój platformy szkoleniowej z uwzględnieniem wybranych form alokacji zasobów wiedzy WEB 2.0 w procesach dydaktycznych, [w:]Chmielarz W., Kisielnicki J., Parys T. (red.), Informatyka 2 Przyszłości, Wydawnictwo Naukowe Wydziału Zarządzania Uniwersytetu Warszawskiego, Warszawa 2015.
  • Sroka H., Słaboń M., Abramek E., Możliwości systemów LMS w zakresie indywidualizacji procesu kształcenia, [w:] Dąbrowski M., Zając M. (red.), Rozwój e-edukacji w ekonomicznym szkolnictwie wyższym, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa 2005, s. 280-285.
  • Verbert K., et al., Learning dashboards: an overview and future research opportunities, „Personal and Ubiquitous Computing” 2014, Vol. 18, No. 6, s. 1499-1514, http://dx.doi.org/10.1007/s00779-013-0751-2.
  • Vozniuk A., Govaerts S., Gillet D., Towards portable learning analytics dashboards, [w:] Proceedings of the 13th IEEE Int. Conference on Advanced Learning Technologies, Beijing 2013, s. 412-416, http://dx.doi.org/10.1109/ICALT.2013.126.
  • West D.M., Big Data for Education: Data Mining, Data Analytics, and Web Dashboards, The Brookings Institution, Washington 2012.
  • Yigitbasioglu O.M., Velcu O., A review of dashboards in performance management: Implications for design and research, „International Journal of Accounting Information Systems” 2012, Vol. 13, No. 1, s. 41-59, http://dx.doi.org/10.1016/j.accinf.2011.08.002.
  • Zieliński Z.E., Edusourcing - przegląd istniejących rozwiązań e-learning w podmiotach edukacyjnych w Polsce, „Zeszyty Naukowe Świętokrzyskiego Centrum Edukacji na Odległość” 2007, nr 5a, s. 342-350.
  • Zieliński Z.E., Systemy informatyczne w zarządzaniu e-learning, „Zeszyty Naukowe Świętokrzyskiego Centrum Edukacji na Odległość” 2006, nr 2.
  • Ziemba P., Piwowarski M., Wspomaganie decyzji w doborze rozwiązań systemowych w kształceniu na odległość, [w:] „Nierówności Społeczne a Wzrost Gospodarczy” 2011, nr 22, s. 260-272.
  • Ziuziański P., Furmankiewicz M., Kokpit menedżerski jako narzędzie do wizualizacji danych w kontekście zarządzania wiedzą w organizacji, „Zeszyty Naukowe Politechniki Białostockiej. Ekonomia i Zarządzanie” 2015, z. 7(1), s. 44-60.
  • Ziuziański P., Furmankiewicz M., Projektowanie interaktywnych kokpitów menedżerskich zorientowanych na użytkownika, „Biuletyn Naukowy Wrocławskiej Wyższej Szkoły Informatyki Stosowanej. Informatyka” 2014, nr 4, s. 32-38.
  • Ziuziański P., Furmankiewicz M., Rola kokpitu menedżerskiego w procesie podejmowania decyzji, „Zeszyty Naukowe Politechniki Śląskiej. Seria: Organizacja i Zarządzanie” 2015, nr 77, s. 311-321.
  • Ziuziański P., Furmankiewicz M., Sołtysik-Piorunkiewicz A., E-Health Artificial Intelligence System Implementation: Case Study of Knowledge Management Dashboard of Epidemiological Data in Poland, „International Journal of Biology and Biomedical Engineering” 2014, Vol. 8, s. 164-171.
  • Ziuziański P., Kokpit menedżerski jako efektywne narzędzie do wizualizacji danych w organizacji, „Rola Informatyki w Naukach Ekonomicznych i Społecznych. Innowacje i Implikacje Interdyscyplinarne” 2014, nr 1, s. 60-69.
INFORMACJE O AUTORACH

Piotr Ziuziański

Autor jest absolwentem informatyki i ekonometrii na Uniwersytecie Ekonomicznym w Katowicach. Obecnie jest członkiem honorowym Koła Naukowego „Scientia Ingenium” przy Katedrze Inżynierii Wiedzy Uniwersytetu Ekonomicznego w Katowicach. Jest autorem publikacji i referatów poświęconych głównie zastosowaniom informatyki w ochronie zdrowia. Najważniejsze obszary jego zainteresowań badawczych to: wizualizacja danych i kokpity menedżerskie, badania ankietowe, business intelligence oraz zarządzanie wiedzą. Od 2014 r. jest członkiem Polskiego Towarzystwa Zarządzania Produkcją, a od 2015 r. - Naukowego Towarzystwa Informatyki Ekonomicznej.

Małgorzata Furmankiewicz

Autorka jest absolwentką informatyki i ekonometrii na Uniwersytecie Ekonomicznym w Katowicach. Obecnie jest członkiem honorowym Koła Naukowego „Scientia Ingenium” przy Katedrze Inżynierii Wiedzy Uniwersytetu Ekonomicznego w Katowicach. Autorka publikacji i referatów poświęconych głównie zastosowaniom informatyki w ochronie zdrowia. Główne obszary jej zainteresowań badawczych to: e-zdrowie, sztuczna inteligencja i systemy ekspertowe, wdrażanie systemów informatycznych z uwzględnieniem roli człowieka w tym procesie, zarządzanie projektami informatycznymi oraz zarządzanie wiedzą. Od 2014 r. jest członkiem Polskiego Towarzystwa Zarządzania Produkcją, a od 2015 r. - Naukowego Towarzystwa Informatyki Ekonomicznej.

Anna Sołtysik-Piorunkiewicz

Autorka jest doktorem nauk ekonomicznych w zakresie nauk o zarządzaniu, adiunktem w Katedrze Informatyki na Wydziale Informatyki i Komunikacji Uniwersytetu Ekonomicznego w Katowicach. Ukończyła Wydział Organizacji i Zarządzania Politechniki Śląskiej oraz studia podyplomowe na Wydziale Automatyki, Elektroniki i Informatyki. W swojej pracy zawodowej zajmuje się działalnością naukowo-badawczą i dydaktyczną w dziedzinie systemów informatycznych zarządzania. Jest autorką licznych publikacji naukowych, artykułów, rozdziałów w monografiach i podręcznikach nt. zastosowania nowoczesnych technologii informatycznych w zarządzaniu organizacjami. Jej zainteresowania badawcze dotyczą tematyki zarządzania wiedzą i informacją, zajmuje się rozwojem organizacji opartych na wiedzy oraz zastosowaniem nowoczesnych narzędzi ICT w różnych dziedzinach gospodarki w związku z rozwojem e-usług, e-administracji i e-zdrowia. Od 2014 r. jest przewodniczącą katowickiego oddziału Polskiego Towarzystwa Zarządzania Produkcją, a od 2006 r. członkiem Naukowego Towarzystwa Informatyki Ekonomicznej.

 

Informacje o artykule

DOI: 10.15219/em60.1184

W wersji drukowanej czasopisma artykuł znajduje się na s. 31-41.

pdf pobierz artykuł w wersji PDF

pdf abstract in English

Cytowanie

P. Ziuziański, M. Furmankiewicz, A. Sołtysik-Piorunkiewicz, Kokpity menedżerskie jako narzędzie monitorowania efektów kształcenia studentów, „e-mentor” 2015, nr 3(60), s. 31-41, http://dx.doi.org/10.15219/em60.1184.

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 T. Murray, L. Wing, B. Woolf, A Dashboard for Visualizing Deliberative Dialogue in Online Learning, [w:] J. Kim, R. Kumar (eds.), Proceedings of 2nd Workshop on Intelligent Support for Learning in Groups - in association with AIED 2013, 2013, s. 33-36.

2 D. Bajzek, W. Brown, M. Lovett, G. Rule, Inventing the Digital Dashboard for Learning, [w:] C. Montgomerie, J. Seale (eds.), Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications, Chesapeake 2007, s. 1084-1092.

3 P. Ziuziański, M. Furmankiewicz, A. Sołtysik-Piorunkiewicz, E-Health Artificial Intelligence System Implementation: Case Study of Knowledge Management Dashboard of Epidemiological Data in Poland, „International Journal of Biology and Biomedical Engineering” 2014, Vol. 8, s. 164-171.

4 A. Sołtysik, Hurtownie danych i narzędzia OLAP w procesach wspomaganiach decyzji, [w:] H. Sroka, W. Wolny (red.), Inteligentne systemy wspomagania decyzji, Wydawnictwo Akademii Ekonomicznej w Katowicach, Katowice 2009, s. 215, 220.

5 D. Arnott, G. Pervan, A critical analysis of decision support systems research, „Journal of Information Technology” 2005, Vol. 20, s. 67-87, dx.doi.org/10.1057/....

6 O.M. Yigitbasioglu, O. Velcu, A review of dashboards in performance management: Implications for design and research, „International Journal of Accounting Information Systems” 2012, Vol. 13, No. 1, s. 41-59, dx.doi.org/10.1016/....

7 S. Few, Now You See It. Simple Visualization Techniques for Quantitative Analysis, Analytic Press, Oakland 2009.

8 M. Alexander, J. Walkenbach, Analiza i prezentacja danych w Microsoft Excel. Vademecum Walkenbacha, Helion, Gliwice 2014, s. 24; H. Dudycz, Visualization Methods in Business Intelligence Systems: an Overview, [w:] J. Korczak (red.), Business Informatics, Data Mining and Business Intelligence, „Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu/ Research Papers of Wrocław University of Economics” 2010, Vol. 16, No. 104, s. 16; W.W. Eckerson, Performance Dashboards. Measuring, Monitoring and Managing Your Business, John Wiley & Sons, Hoboken 2006, s. 4; Executive Dashboard Implementation Guide 2010, Healthcare Information and Management Systems Society, 2010, s. 36; S. Few, Information Dashboard Design. Displaying data for at-a-glance monitoring, Analytics Press, Burlingame 2013, s. 26; B. Marciniak, Systemy wspomagające decyzje marketingowe w przedsiębiorstwach - aspekty teoretyczne i praktyczne, „Studia i Prace Kolegium Zarządzania i Finansów SGH” 2011, nr 110. s. 58; C.M. Olszak, Analiza i ocena wykorzystania systemów Business Intelligence w zarządzaniu organizacją, [w:] J. Kisielnicki (red.), Informatyka dla przyszłości, Wydawnictwo Naukowe Wydziału Zarządzania Uniwersytetu Warszawskiego, Warszawa 2008, s. 15; R. Orzechowski, E-business Intelligence, „e-mentor” 2005, nr 2(9), s. 69, www.e-mentor.edu.pl... B. Smok, Kokpit menedżerski a system wczesnego ostrzegania, [w:] tegoż (red.), Business Intelligence w zarządzaniu, Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu, Wrocław 2010, s. 146; P. Ziuziański, Kokpit menedżerski jako efektywne narzędzie do wizualizacji danych w organizacji, „Rola Informatyki w Naukach Ekonomicznych i Społecznych. Innowacje i Implikacje Interdyscyplinarne” 2014, nr 1, s. 60.

9 Tamże.

10 P. Ziuziański, M. Furmankiewicz, Kokpit menedżerski jako narzędzie do wizualizacji danych w kontekście zarządzania wiedzą w organizacji, „Zeszyty Naukowe Politechniki Białostockiej. Ekonomia i Zarządzanie” 2015, Z. 7 (1).

11 S. Few, Show me the numbers. Designing Tables and Graphs to Enlighten, Analytic Press, Burlingame 2012.

12 S. Malik, Enterprise Dashboards. Design and Best Practices for IT, John Wiley & Sons, Hoboken 2005, s. 9.

13 M. Elias, A. Bezerianos, Exploration Views: Understanding Dashboard Creation and Customization for Visualization Novices, [w:] P. Campos, N. Graham, et al. (eds.), Human-Computer Interaction - INTERACT 2011. Proceedings of INTERACT 2011 - 13th IFIP TC13 Conference on Human-Computer Interaction, s. 274-291, dx.doi.org/ 10.1007/978-3-642-23768-3_23.

14 J. Furmankiewicz, M. Furmankiewicz, P. Ziuziański, Implementation of business intelligence performance dashboard for the knowledge management in organization, „Zeszyty Naukowe Politechniki Śląskiej. Seria: Organizacja i Zarządzanie” 2015, nr 78; A. Sołtysik-Piorunkiewicz, M. Furmankiewicz, P. Ziuziański, Zaawansowane techniki graficznej analizy danych epidemiologicznych na kokpicie menedżerskim, „Informatyka ekonomiczna (Business Informatics)” 2014, nr 2(32), s. 64-77, dx.doi.org/10.15611....

15 V. Lofvinga, The Purposes of Performance Dashboard Use: A Case of a Procurement Performance Management SaaS Provider, Department of Information and Service Economy Aalto University School of Business, s. 8.

16 A Guide to Creating Dashboards People Love to Uses, s. 11, www.juiceanalytics..... [10.04.2015].

17 M. Furmankiewicz, P. Ziuziański, Wdrażanie kokpitu menedżerskiego w ramach systemu BI w organizacji, „Przegląd Teleinformatyczny” 2014, nr 1-2(37), s. 8.

18 5 Unorthodox Principles for Dashboard Success, go.antivia.com/rs/a.... [17.03.2015].

19 P. Ziuziański, M. Furmankiewicz, Rola kokpitu menedżerskiego w procesie podejmowania decyzji, „Zeszyty Naukowe Politechniki Śląskiej. Seria: Organizacja i Zarządzanie” 2015, nr 77, s. 318; P. Ziuziański, M. Furmankiewicz, Projektowanie interaktywnych kokpitów menedżerskich zorientowanych na użytkownika, „Biuletyn Naukowy Wrocławskiej Wyższej Szkoły Informatyki Stosowanej. Informatyka” 2014, nr 4, s. 37.

20 A. Sołtysik-Piorunkiewicz, M. Furmankiewicz, P. Ziuziański, Kokpit menedżerski jako narzędzie do wspomagania decyzji prosumenta w e-zdrowiu, [w:] M. Pańkowska (red.), Uwarunkowania technologiczno-społeczne i modele prosumpcji, Wydawnictwo Uniwersytetu Ekonomicznego w Katowicach, Katowice 2014.

21 D.M. West, Big Data for Education: Data Mining, Data Analytics, and Web Dashboards, The Brookings Institution, Washington 2012.

22 D. Guster, C.G. Brown, The application of business intelligence to higher Education: technical and managerial perspectives, „Journal of Information Technology Management” 2013, Vol. XXIII, No. 2, s. 45. D.M. West, dz.cyt.

23 D.M. West, dz.cyt.

24 E. Collado, Experiences in Using Academic Data for BI Dashboard Development, 2014, support.sas.com/ resources/papers/proceedings14/1493-2014.pdf, [20.04.2015].

25 K. Verbert, et al., Learning dashboards: an overview and future research opportunities, „Personal and Ubiquitous Computing” 2014, Vol. 18, No. 6, s. 1499-1514, dx.doi.org/10.1007/....

26 B. Dietz-Uhler, J.E. Hurn, Using Learning Analytics to Predict (and Improve) Student Success: A Faculty Perspective, „Journal of Interactive Online Learning” 2013, Vol. 12, No. 1, s. 23.

27 M. Kotnis, Właściwości systemów e-learning w procesie rozwoju pracowników, [w:] H. Sroka, T. Porębska-Miąc (red.), Systemy Wspomagania Organizacji SWO 2005, Wydawnictwo Akademii Ekonomicznej, Katowice 2005, s. 476.

28 P. Ziemba, M. Piwowarski, Wspomaganie decyzji w doborze rozwiązań systemowych w kształceniu na odległość, [w:] „Nierówności Społeczne a Wzrost Gospodarczy” 2011, nr 22, s. 260.

29 M. Kotnis, dz.cyt., s. 476; Z.E. Zieliński, Systemy informatyczne w zarządzaniu e-learning, „Zeszyty Naukowe Świętokrzyskiego Centrum Edukacji na Odległość” 2006, nr 2, s. 320; H. Sroka, M. Słaboń, E. Abramek, Możliwości systemów LMS w zakresie indywidualizacji procesu kształcenia, [w:] M. Dąbrowski, M. Zając (red.), Rozwój e-edukacji w ekonomicznym szkolnictwie wyższym, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa 2005, s. 280-285.

30 A. Sołtysik-Piorunkiewicz, Rozwój platformy szkoleniowej z uwzględnieniem wybranych form alokacji zasobów wiedzy WEB 2.0 w procesach dydaktycznych, [w:] W. Chmielarz, J. Kisielnicki, T. Parys (red.), Informatyka 2 Przyszłości, Wydawnictwo Naukowe Wydziału Zarządzania Uniwersytetu Warszawskiego, Warszawa 2015, s. 186.

31 B. Dietz-Uhler, J.E. Hurn, dz.cyt., s. 23.

32 A. Vozniuk, S. Govaerts, D. Gillet, Towards portable learning analytics dashboards, [w:] Proceedings of the 13th IEEE Int. Conference on Advanced Learning Technologies, Beijing 2013, s. 412-416, dx.doi.org/10.1109/....

33 D. Leony, A. Pardo, L. de la Fuente Valentín, D. Sánchez de Castro, C. Delgado Kloos, GLASS: a learning analytics visualization too, [w:] S.B. Shum, D. Gasevic, R. Furguson (eds.), Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York 2012, s. 162-163, dx.doi.org/10.1145/....

34 E.A. Kimberly, M.D. Pistilli, Course Signals at Purdue: Using Learning Analytics to Increase Student Success, [w:] S.B. Shum, D. Gasevic, R. Furguson (eds.), Proceedings of the 2nd International..., dz.cyt., s. 267-270, dx.doi.org/ 10.1145/2330601.2330666; S. Govaerts, K. Verbert, E. Duval, A. Pardo, The student activity meter for awareness and self-reflection, The ACM SIGCHI Conference on Human Factors in Computing Systems, conference proceedings, Austin, TX, 5-10 May 2012, s. 869-884, https://lirias.kule.... [20.04.2015].

35 Z.E. Zieliński, Edusourcing - przegląd istniejących rozwiązań e-learning w podmiotach edukacyjnych w Polsce, [w:] Rola informatyki w naukach ekonomicznych i społecznych, „Zeszyty Naukowe Świętokrzyskiego Centrum Edukacji na Odległość” 2007, nr 5a, s. 342.

36 J. Guzek, Pulpit menedżerski studenta jako narzędzie wizualizacji jego postępów w procesie e-learning, „Rola Informatyki w Naukach Ekonomicznych i Społecznych. Innowacje i Implikacje Interdyscyplinarne” 2010, nr 2, s. 39-45.

37 A. Sołtysik-Piorunkiewicz, dz.cyt., s. 186-202.

38 K. Verbert, et al., dz.cyt., s. 1.

39 J. Guzek, dz.cyt.

40 A. Dollár, P.S. Steif, ?Web-based Statics Course with Learning Dashboard for Instructors, [w:] V. Uskov (ed.), Proceedings of Computers and Advanced Technology in Education (CATE 2012)dx.doi.org/10.2316/....

41 SmartKlassTM for students. User's Gude, dz.cyt.