» E-mentor nr 5 (27) / 2008

Podstawą rozwoju i coraz szerszego stosowania e-learningu w szkoleniach oraz w kształceniu formalnym i otwartym jest szeroki wachlarz korzyści, jakie niesie ze sobą ta forma edukacji. Podkreśla się zalety na płaszczyźnie procesu dydaktycznego oraz procesów wspierających - organizacyjnych. Wskazuje się również zalety po stronie kosztowej, choć zwykle przytaczane opinie są formułowane na podstawie fragmentarycznych danych, bez wsparcia w postaci wyników pogłębionej analizy finansowej. Dlatego też daje się zauważyć potrzebę identyfikacji i charakterystyki grup kosztów towarzyszących procesom edukacyjnym oraz zbadania opłacalności edukacji internetowej w porównaniu z formami tradycyjnymi.

Niezbędne jest również przeprowadzenie analiz pod kątem rzeczywistych korzyści finansowych płynących ze stosowania e-learningu w działalności edukacyjnej organizacji. Ponadto potrzebne są mierniki oceny efektywności kosztowej poszczególnych projektów e-learningowych. Wskazane potrzeby skłaniają do postawienia następujących pytań badawczych:

• Jakie komponenty finansowe występują w organizacji procesów dydaktycznych z zastosowaniem e-learningu?
• Jak definiować efektywność kosztową procesów e-learningowych?

Niniejsze opracowanie stanowi próbę odpowiedzi, z równoczesnym wskazaniem dalszych obszarów badawczych w tym zakresie¹.

Zwrot z inwestycji a wartość wiedzy

Badanie efektywności kosztowej procesów e-learningowych jest złożonym i problematycznym przedsięwzięciem. Wiąże się to z dwoma czynnikami:

• ze względu na charakter procesu, trudnością samą w sobie jest badanie efektywności finansowej tradycyjnej dydaktyki czy też szkoleń korporacyjnych;
• doświadczenia w zakresie e-learningu są znacznie uboższe, a brak dobrych praktyk w badaniu strony kosztowej jest szczególnie widoczny w środowisku akademickim.

Tradycyjnym narzędziem analizy, dotyczącym efektywności, jest miernik zwrotu z inwestycji (Return on Investment, ROI). ROI doskonale sprawdza się przy rzeczywistych, materialnych obiektach analizy. Natomiast w przypadku e-learningu zadaniem ROI jest określenie wymiaru finansowego wartości nowoczesnej edukacji dla instytucji. Wartość edukacji i sam proces dydaktyczny nie są już elementami tak rzeczywistymi i materialnymi, jak wiele zmiennych analizowanych tradycyjnie wskaźnikiem ROI. Jest to zresztą typowa cecha niematerialnych filarów gospodarki opartej na wiedzy.

Nowym, odpowiadającym na obecne potrzeby miernikiem dotyczącym wiedzy i osiągnięć może okazać się wskaźnik zwrotu z wartości oczekiwanej (Return on Expectation, ROE). Nowe podejście, zaproponowane przez prof. Williama Trochima z Cornell University, przenosi ciężar analizy z podejścia finansowego na badanie wartości wiedzy.

Podstawowym ograniczeniem nowego podejścia jest fakt unikania pytań o to, czy jesteśmy w stanie osiągnąć ten sam efekt szybciej i taniej oraz czy osiągniemy lepszy efekt przy takich samych założeniach czasu i kosztu?

Z drugiej strony typowy zakres analizy ROI ogranicza się zwykle do zbadania, czy "osoboszkolenie" realizowane w formie e-learningu jest tańsze od tradycyjnego. Trudno doszukać się rozpowszechnionych na szeroką skalę praktyk wykraczających poza wymieniony cel.

Pomimo występowania wyżej wymienionych barier warto szukać nowych rozwiązań, które pozwolą na metodyczny oraz praktyczny rozwój form badania efektywności. Warto szukać implementacji procedur opartych zarówno na wskaźniku ROE, jak i ROI (i to takim, przed którym stawiane są różnorakie cele, a więc i samo badanie przeprowadzane jest na wielu płaszczyznach).

Efektywność w badaniu pozafinansowym - analiza wkładu i rezultatów

Czynniki pozafinansowe, umożliwiające badanie efektywności procesów e-learningowych, mogą koncentrować się na analizach dotyczących takich danych (i ich zmiany w czasie), jak:

• liczba użytkowanych kursów online (średnia na osobę) w stosunku do globalnej liczby kursów w ofercie (repozytorium) - zmienna wskazuje na gospodarowanie zasobami (w przypadku badań internetowych bliski tej analizie, choć w nieco innej perspektywie, jest wskaźnik nazywany "zasięgiem"²);
• relacje dotyczące deklaracji, zapisów, realizacji i ukończenia kursów online - zmienne wskazują na efektywność pełnej ścieżki relacji uczestnika z kursem;
• liczba odsłon dla zasobów kursu (średnia liczba odwiedzonych podstron przypadająca na uczestnika) - w porównaniu do innych kursów - zmienna wskazuje na złożoność konstrukcji kursu online;
• liczba wizyt dla zasobów i narzędzi kursu (średnia na uczestnika), w porównaniu do innych kursów - zmienna obrazuje częściowo szacowaną pracochłonność kursu, w tym złożoność scenariusza zajęć online;
• czas użytkowania kursu na jedną sesję oraz czas użytkowania globalnego w określonym interwale czasowym, w porównaniu do innych kursów - zmienne wskazują na pracochłonność kursu, w szczególności realizacji zajęć online;
• średnia i mediana dla ocen z zajęć online - zmienne wspomagają ocenę jakościową realizacji procesu dydaktycznego.

Zaprezentowane powyżej mierniki należy traktować jako przykładową listę wprowadzającą do problematyki. Mierniki te wchodzą w skład grupy podstawowych wskaźników, które bazują w swojej konstrukcji na danych o charakterze "wkładu w proces", a nie na takich, które umożliwiają badanie jego rezultatów. W tym drugim przypadku dane byłyby potrzebne do odpowiedzi na pytania:

• Jak i na ile zwiększyła się wiedza uczestników zajęć?
• Czy zwiększona wiedza przekłada się na zwiększoną produktywność?
• Czy kolejne szkolenia przyniosą ponowną poprawę wyników?
• Czy lepsza forma szkoleń przyniosłaby lepsze wyniki?
• Czy mniejszy wymiar zajęć mógłby przynieść podobne wyniki?

Kompleksowe ujęcie w badaniu, na podstawie danych o charakterze "wkładu" oraz dotyczących rezultatu, powinno zmierzać ku optymalizacji procesu dydaktycznego, tak aby np. zwiększyć jego efekty (produktywność, zyskowność prowadzonych działań itp.), kształtować postawy pracowników, pomniejszyć koszty działalności.

Cztery poziomy oceny efektów procesu

Jednym z narzędzi oceny efektywności szkoleń jest model Kirkpatricka. Donald Kirkpatrick zaproponował w 1959 roku czteropoziomowy pomiar efektów szkoleń, który jest powszechnie wykorzystywany do dnia dzisiejszego. Cztery poziomy tego modelu prezentują się następująco:

• pierwszy poziom to poziom reakcji (Reaction, Response) - subiektywna ocena szkolenia przez uczestnika, ocena satysfakcji z udziału w zajęciach; główne techniki pomiaru to kwestionariusze ankiet oraz wywiady (sondaż diagnostyczny);
• drugi poziom to poziom nauki (Learning) - ocena szkolenia za pomocą testów (wstępnych i końcowych), jak również poprzez obserwacje - np. prezentacji realizowanego zadania czy też treningu końcowego; możliwą techniką pomiaru może być również wzajemne ocenianie się przez uczestników kursu;
• trzeci poziom to poziom zachowań (Behaviour, Performance) - analiza zmiany zachowań, postaw, ocena poprawy efektywności działań osoby szkolonej (po powrocie do pracy); techniki pomiaru to obserwacja, analiza wyników pracy i analiza dokumentów, jak również metoda Oceny 360 stopni;
• czwarty poziom to poziom rezultatów (Results) - analiza osiągnięć korzyści biznesowych, danych finansowych instytucji, rezultatów w pracy, wydajności; techniki pomiaru to obserwacja, analiza wyników pracy i analiza dokumentów.

Każdemu z poziomów oceny towarzyszą pytania wskazujące na to, jakie parametry są mierzone. Podstawowe pytania dla poszczególnych poziomów modelu Kirkpatricka prezentuje tabela 1.

Tabela 1. Podstawowe pytania dla poszczególnych poziomów modelu D. Kirkpatricka

Poziom	Pytania
poziom I	Czy szkolenie podobało się uczestnikom? Co planują oni zrobić z wiedzą nabytą na szkoleniu? Czy uczestnik zajęć doświadczył pozytywnych emocji podczas realizacji zajęć?
poziom II	Czy zaobserwowano przyrost wiedzy i umiejętności? Czego nauczyła się szkolona osoba? Czy zmieniły się postawy osoby szkolonej? Jak się zmieniły?
poziom III	W jakim stopniu poprawiła się efektywność pracy, poszczególnych działań? Czy osoba szkolona ma możliwość wykorzystania nabytej wiedzy i umiejętności w pracy? Czy zmiany zachowań są rezultatem szkolenia?
poziom IV	Czy szkolone osoby wykorzystują w pracy to czego się nauczyły? Czy zmiany zachowań mają pozytywny i mierzalny wpływ na wyniki działalności instytucji? Jaki jest zwrot z inwestycji w kształcenie? Czy została przybliżona realizacja celów organizacji?

Źródło: opracowanie własne
Model D. Kirkpatricka znajduje zastosowanie w ocenie efektywności szkoleń e-learningowych i jest to równie opłacalne jak w przypadku oceny tradycyjnych zajęć. Elektroniczna forma nauczania pozwala na osiągnięcie dodatkowych korzyści z pomiaru potrzebnego do przeprowadzenia analiz na każdym z czterech poziomów omawianego modelu.

Ocena satysfakcji z poziomu pierwszego może zostać wzbogacona o analizę danych dotyczących liczby i czasu logowań na platformie e-learningowej oraz o badania ruchu po zasobach, interakcji i wykorzystania aplikacji do komunikacji z uczestnikami oraz prowadzącym zajęcia. Wyniki z analiz statystycznych powinny zostać poddane ocenie pod kątem ich korelacji z wynikami badania satysfakcji. W ten sposób poziom reakcji w modelu Kirkpatricka zyskuje narzędzie wspomagające weryfikację subiektywnej oceny szkolenia przez uczestnika.

Poziom nauki, czyli drugi poziom omawianego modelu, może zyskać dodatkowe narzędzia pomiaru przyrostu wiedzy. Zajęciom e-learningowym, charakteryzującym się wysoką jakością kształcenia, towarzyszą zwykle formy aktywności online poddawane ocenie prowadzącego. Reakcja zwrotna w czasie prowadzenia zajęć (a nie jedynie po ich zakończeniu) - w postaci oceny prowadzącego - jest warunkiem kluczowym dla pomyślnej realizacji kursu e-learningowego. Standardem stosowanym coraz częściej jest szybka, a nawet natychmiastowa reakcja - informacja zwrotna przekazywana przez prowadzącego z chwilą zakończenia danego zadania. Korzystając z faktu, iż przynajmniej część ocen dotyczących omawianej aktywności to oceny ilościowe, możliwe jest wykorzystanie tych danych do pomiaru dokonywanego w ramach drugiego poziomu modelu Kirkpatricka.

Poziom trzeci - ocena zachowań - dzięki formule e-learningowej zajęć może zyskać na dwóch płaszczyznach. Pierwsza z nich to etap pomiaru stanu wejściowego, który może zostać rozbudowany poprzez analizę zachowań uczestnika zajęć podczas pierwszego kontaktu ze środowiskiem wirtualnego nauczania. Druga z płaszczyzn to pomiar wyników, który może zostać wzbogacony o dodatkowe narzędzie monitoringu, np. forum dyskusyjne, dla potrzeb konsultacji z ekspertem (prowadzącym zajęcia) - specjalnie udostępnione po realizacji szkolenia - w celu omówienia planu działania i kontroli jego realizacji oraz planu zastosowania nabytej wiedzy w praktyce.

Podobne korzyści, jakich przysparza środowisko wirtualnego nauczania dla pomiaru w ramach trzeciego poziomu, mogą zostać osiągnięte przy ocenie na poziomie czwartym.

Kompleksowość stosowania modelu Kirkpatricka

Praktyka pokazuje bardzo dużą rozpiętość w upowszechnieniu stosowania mierników z poszczególnych poziomów modelu Kirkpatricka. Badania przeprowadzone przez American Society for Training & Development (ASTD)³ wyraźnie wskazują na koncentrację w pomiarze efektywności szkoleń na pierwszym, podstawowym etapie, tj. poziomie reakcji (badanie satysfakcji). Wyniki badań w tym zakresie prezentuje wykres 1.

Wykres 1. Kursy objęte danym poziomem badania efektywności szkolenia w modelu Kirkpatricka (w %)


Źródło: Badania ASTD, [za:] D. Morrison, E-learning Strategies, Wiley 2003, s. 61
Rzeczywista wartość z wyników badania możliwa jest do osiągnięcia przy zastosowaniu miar na wszystkich poziomach modelu Kirkpatricka. Rodzi się wobec tego pytanie, co jest powodem tak fragmentarycznego stosowania ww. modelu. Wykraczając poza wyraźne przyczyny koncentrujące się wokół kosztów realizowanych działań, powodów można doszukiwać się również w priorytetach stawianych przez oceniających, szczególnie gdy dokonamy kategoryzacji poszczególnych poziomów badania modelu Kirkpatricka - w hierarchii, na wzór Hierarchii potrzeb Maslowa. Koncepcję tę prezentuje wykres 2.

Wykres 2. Hierarchia potrzeb w modelu Kirkpatricka


Źródło: opracowanie własne na podstawie D. Morrison, E-learning Strategies, Wiley 2003, s. 61
W powszechnym rozumieniu podstawowe potrzeby względem ewaluacji programów edukacyjnych zaspokajają miary poziomu pierwszego, badające reakcje i satysfakcję uczestników zajęć. Ocena odbiorców szkolenia jest ważna i to z wielu względów - m.in. pozwala na analizę przebiegu szkolenia, ocenę pracy wykładowcy i realizowanego programu, jak również daje uczestnikom poczucie, iż ich opinia jest istotna. Niemniej jednak analiza na tym poziomie charakteryzuje się wieloma ograniczeniami i często nie dostarcza w pełni wartościowej informacji zwrotnej. Za przykład może tu służyć zróżnicowanie stopnia obiektywizmu w ocenie uczestników, w zależności od tego, czy dane szkolenie zostało przez nich wybrane, czy też odgórnie im narzucone.

W literaturze podkreśla się również uzależnienie oceny kursu od celów przyjętych przez trenera. Powszechnie uważa się, iż szkolenie jest "dobre", gdy grupa pozytywnie na nie reaguje⁴. Ilustracją problemu może być szkolenie zarządzone przez instytucję dla jej pracowników, którego celem jest polepszenie komunikacji w zespole, a tym samym wewnętrznych relacji (bowiem w grupie tej narasta konflikt i pogłębia się różnica zdań). Szkolenie może zyskać wysoką ocenę uczestników pomimo braku mierzalnych efektów, a więc eliminacji bądź złagodzenia sytuacji konfliktowej. Istnieje duże prawdopodobieństwo uzyskania bardziej pozytywnej reakcji, a tym samym oceny kursu, jeżeli trener będzie unikał sytuacji, których celem jest konfrontacja stanowisk i poglądów uczestników szkolenia. W przypadku doprowadzenia do konfrontacji stanowisk negatywne emocje towarzyszące jej uczestnikom mogą przełożyć się na niską ocenę pracy trenera przez uczestników szkolenia, pomimo iż w dłuższym okresie szkolenie może przynieść wymierne efekty. Drugim przykładem, bliskim opisanej sytuacji, może być realizacja szkolenia (o omawianym już charakterze) dla wybranej grupy pracowników jednej instytucji. Już samo oddelegowanie do realizacji tego programu może być traktowane jako negatywna ocena pracy danego pracownika. A więc reakcja, a tym samym ocena szkolenia, może być determinowana uwarunkowaniami niezależnymi od procesu dydaktycznego, w tym wydarzeniami poprzedzającymi realizację zajęć.

Przeszkodą w kompleksowej implementacji mierników wszystkich poziomów oceny w modelu Kirkpatricka może być także konieczność dokonywania pomiaru w różnym czasie. Pomiar jakości procesu na poziomie pierwszym, tj. badania satysfakcji, odbywać się powinien bezpośrednio po szkoleniu. Drugi poziom, tj. poziom nauki, wiąże się z pomiarem początkowym - przed szkoleniem oraz końcowym - po realizacji zajęć. Dla kolejnych poziomów oceny dokonywany jest pomiar przed szkoleniem (w celu ustalenia punktu odniesienia) oraz po określonym czasie - liczonym od zakończenia zajęć. Przesunięcie terminu wynika z potrzeby obserwacji zmian z wdrożonych wyników nauki⁵.

Rysunek 1. Rozlokowanie punktów pomiaru dla poszczególnych poziomów oceny
w modelu Kirkpatricka



Źródło: M. Hyla, Przewodnik po e-learningu, Oficyna Ekonomiczna, Kraków 2005, s. 265, [za:] W. Horton, Online Learning Manager Certificate Program
Warto zauważyć, iż środowisko wirtualnego nauczania, jak i sama forma zajęć e-learningowych, zmieniają obraz punktów pomiaru dla poszczególnych poziomów modelu Kirkpatricka. Szczególnie zyskuje na tym poziom drugi modelu, tj. pomiar przyrostu wiedzy, który może być realizowany z wykorzystaniem oceny ilościowej aktywności online uczestników zajęć. Zmiana charakteru pomiaru z punktowego na ciągły modyfikuje poziom pierwszy modelu (wiąże się to ze stałym monitoringiem i zbieraniem danych statystycznych z przebiegu całego kursu). Zauważalne zmiany mogą również wystąpić na trzecim i czwartym poziomie oceny modelu Kirkpatricka.

Najwyższe poziomy oceny

Powracając do tezy dotyczącej możliwości osiągnięcia największej wartości badania w przypadku zastosowania miar na wszystkich poziomach modelu Kirkpatricka, należy zwrócić uwagę, iż właśnie czwarty - ostatni - poziom oceny generuje możliwość wyliczenia wskaźnika zwrotu z wartości oczekiwanej (Return on Expectation, ROE), a tym samym osiągnięcia stadium badania wartości wiedzy.

Osiągnięcie w badaniu poziomu czwartego modelu Kirkpatricka, a tym samym stworzenie możliwości wyliczenia wskaźnika ROE nie jest jednak stanem satysfakcjonującym dla kadr zarządczych wielu instytucji - oceniających efektywność szkoleń realizowanych przez pracowników. Wiąże się to z przeświadczeniem o konieczności poddawania ocenie efektywności finansowej działań edukacyjnych, wzorem wszystkich procesów biznesowych zachodzących w instytucji.

W odpowiedzi na te potrzeby - w 1996 roku - model Kirkpatricka doczekał się rozbudowy. Jack Philips zaproponował piąty poziom oceny - poświęcony wyliczeniom wskaźnika zwrotu z inwestycji (ROI). Podstawowym pytaniem dla tego poziomu jest to, czy pieniężna wartość rezultatów szkolenia przekroczyła koszty jego realizacji. Negatywna odpowiedź może być bardziej istotna dla ogólnej oceny procesu edukacyjnego niż pozytywny wynik z czterech poziomów tradycyjnego modelu Kirkpatricka.

Pomimo dużych nakładów potrzebnych na wdrożenie pięcioelementowej oceny, tj. ujęcie w modelu wskaźnika oceny efektywności kosztowej szkoleń, rezultat może być bardzo opłacalny i w dłuższym okresie powinien służyć rozwojowi wewnętrznej działalności edukacyjnej instytucji. Szczególnie dobrze obrazuje to przykład instytucji o dominującym komercyjnym charakterze działalności. Doświadczenie uczy, że działy zajmujące się szkoleniami wewnętrznymi w przedsiębiorstwach traktowane są zwykle jako centra kosztów. Zatem wykazanie zyskowności procesów edukacyjnych zapewni ich trwałe ujęcie w planach działalności i budżecie instytucji. W takim przypadku za systematycznym i trwałym wydatkowaniem środków na szkolenia będzie przemawiać nie tylko tradycyjnie występująca, ogólna potrzeba inwestowania w kapitał ludzki oraz podnoszenie kompetencji kadr, ale także udowodniona pieniężna efektywność tej działalności.

Charakterystyka grup kosztów w edukacji i e-edukacji

W celu kalkulacji podstawowego wskaźnika ROI, służącego porównaniu efektywności kosztowej szkoleń tradycyjnych i internetowych, należy w pierwszym kroku dokonać kategoryzacji możliwych do zaewidencjonowania kosztów. W podstawowej klasyfikacji możemy wyróżnić trzy rodzaje kosztów towarzyszących procesom edukacyjnym, w tym w ramach nowoczesnego kształcenia na odległość. Są to:

• koszty bezpośrednie,
• koszty pośrednie,
• koszty alternatywne.

Koszty bezpośrednie procesów edukacyjnych są różne w przypadku szkoleń korporacyjnych, dydaktyki akademickiej, kształcenia formalnego, czy też edukacji otwartej. Skład pozycji kosztowych zależny jest również od przyjętej formy nauczania. W przypadku szkoleń tradycyjnych mamy do czynienia m.in. z kosztami honorarium prowadzącego, sal i urządzeń, podróży i zakwaterowania uczestników, przygotowania, produkcji i dystrybucji materiałów, obsługi administracyjnej. W przypadku e-learningu, wśród najczęściej spotykanych, można wskazać koszt przygotowania materiałów (lub koszty licencyjne), oprogramowania i infrastruktury technologicznej, jak również pracy prowadzącego zajęcia i obsługi procesu e-edukacyjnego. W obu przypadkach (procesów kształcenia tradycyjnego i na odległość) mamy do czynienia z kosztami stałymi oraz kosztem krańcowym.

Na koszty pośrednie procesu edukacyjnego składają się koszty ogólne oraz wartość świadczeń kompensacyjnych - kompensacja wynagrodzenia szkolących się osób. Koszty ogólne szkoleń to m.in. koszty zarządu, planowania wstępnego i kosztorysów, księgowości i obsługi ogólnej, jak również usługi doradcze. Natomiast świadczenie kompensacyjne⁶ to wartość wydatków na pracowników (m.in. wynagrodzenia) ponoszonych pomimo zaniechania przez nich pracy na czas szkolenia. W przypadku szkoleń tradycyjnych szacuje się, iż koszty pośrednie są średnio dwukrotnie wyższe od kosztów bezpośrednich szkolenia.

Z kolei koszt alternatywny dla procesów szkoleniowych to koszt potencjalnie utraconych korzyści z pracy osób, które uczestniczą w szkoleniu tradycyjnym. Przyjmuje się, iż średni koszt utraconych korzyści z pracy znacząco przewyższa wydatki kompensacyjne. Uśredniony stosunek wartości pieniężnej utraconych korzyści z pracy do samego wynagrodzenia pracownika może wynieść 1,5 do 1⁷ lub też 2 do 1⁸, zatem średni koszt alternatywny wynosi od 1,5xW do 2xW⁹.

Porównanie kosztów szkoleń tradycyjnych i e-learningowych w trzech wyżej wymienionych grupach pozwala na określenie charakteru i wielkości przewag w efektywności kosztowej obu form nauczania. Dla tych potrzeb profesor Laurie Bassi, była wiceprezydent stowarzyszenia American Society for Training and Development (ASTD), zaproponowała arkusz ułatwiający wyliczenia. Arkusz ten dodatkowo wspomaga oznaczenie tych pozycji kosztowych, które występują jedynie w jednej z form nauczania - a tym samym pomaga zdefiniować ważne różnice w zakresie składowych strony kosztowej procesów edukacyjnych.

Tabela 2. Arkusz wyliczeń kosztów stałych i krańcowych szkoleń w formie tradycyjnej oraz internetowej

	Szkolenie tradycyjne		Szkolenie internetowe
	Stały koszt	Koszt krańcowy	Stały koszt	Koszt krańcowy
Koszty bezpośrednie
Wynagrodzenie trenera			x	x
Zewnętrzni dostawcy
Przygotowanie treści kursu				x
Druk materiałów			x	x
Dystrybucja materiałów			x	x
Sprzęt komputerowy	x	x
Oprogramowanie	x	x
Koszty podróży i zakwaterowania			x	x
Obsługa administracyjna
Koszty pośrednie
Świadczenie kompensacyjne dla uczących się			x	x
Koszty ogólne
Koszt alternatywny			x	x

*Oznaczenie "x" identyfikuje niską wagę bądź brak pozycji kosztowej dla organizacji szkolenia w danej formie.
Źródło: L. Bassi, How Much Does eLearning Cost?, "Learning in the New Economy Magazine", jesień 2000, http://linezine.com/2.1/features/lbhmec.htm
Arkusz ten należy traktować jako uproszczony kosztorys, profilowany dodatkowo na rynek szkoleń korporacyjnych. Przyjmując te ograniczenia, należy wskazać możliwość usprawnienia ww. arkusza poprzez zaznaczenie niewystępowania kosztu krańcowego w przypadku procesu przygotowania treści dla szkolenia tradycyjnego - wzorem internetowego.

Zarówno zaprezentowany powyżej dokument, jak i bardziej rozbudowane wersje arkusza porównawczego mogą służyć do kompleksowej analizy kosztów i korzyści (cost-benefit analysis, CBA), która operując nie tylko danymi finansowymi, ale i parametrami opisowymi, wskazuje na zalety danej formy kształcenia. W analizie CBA często bierze się pod uwagę nie tylko nakłady ściśle związane z bieżącą inwestycją, ale i koszty przyszłego utrzymania - np. infrastruktury, a także - patrząc szerzej - koszty przystosowania całej instytucji do zmian, jakie niesie ze sobą implementacja nowoczesnych technologii w edukacji (np. zmiany w kulturze organizacyjnej).

Istotnym faktem, który może mieć wpływ na ocenę porównawczą kosztów szkolenia tradycyjnego i internetowego, jest zróżnicowanie efektów nauczania w ramach godziny dydaktycznej - realizowanej w formie stacjonarnej i zdalnej. Źródła literaturowe podają wzrost efektywności rzędu 25-60%¹⁰. Przyjmując poziom 30 proc. wzrostu efektywności nauczania, należałoby porównywać koszty organizacji 8-godzinnego szkolenia internetowego z 10,5-godzinnym szkoleniem tradycyjnym. Jest to przykład z rynku szkoleń biznesowych - z założeniem samodzielnego przestudiowania materiału przez pracownika w przypadku formy e-learningowej szkolenia. Bez pogłębionych analiz trudno zakładać podobny przyrost w przypadku szkoleń innych niż instruktażowe (gdzie forma samodzielnej nauki może być wystarczająca), jak również w kształceniu akademickim.

Inną klasyfikację dla potrzeb porównania kosztów szkoleń tradycyjnych i internetowych, z uwzględnieniem pracy trenera podczas zajęć e-learningowych, prezentuje W. Horton¹¹. Proponuje on podział na trzy grupy kosztów:

• koszt wytworzenia kursu (per-course costs), który uwzględnia:
  
  • liczbę godzin kursu,
  • czas wytworzenia godziny kursu,
  • koszt czasu pracy nad kursem;
• koszt organizacji zajęć (per-class costs), który uwzględnia:
  
  • wynagrodzenie bazowe trenera (na grupę),
  • koszt podróży trenera (na grupę),
  • koszt infrastruktury (na grupę),
  przy jednoczesnym określeniu liczby szkolonych osób oraz wielkości i liczby grup;
• koszt realizacji zajęć (per-learner costs), który uwzględnia:
  
  • koszt podróży uczestników zajęć,
  • świadczenie kompensacyjne dla uczących się,
  • wynagrodzenie trenera na osobę/grupę,
  przy jednoczesnym określeniu liczby osób szkolonych.

W kalkulacji kosztów W. Hortona interesujące jest spojrzenie na nakład pracy zespołu nad godziną materiału e-learningowego. Jako uśrednioną wartość autor podaje 200 godzin, zaś przeciętny przedział czasu określa na 100-600 godzin pracy nad jedną godziną materiału. Uśredniona wartość 200 godzin stanowi, według wyliczeń W. Hortona, czterokrotnie dłuższy czas pracy od potrzebnego do przygotowania godziny materiału dla zajęć tradycyjnych. Dodatkowo sam koszt pracy zespołu, wyliczany w godzinach, szacuje on na dwukrotnie wyższy od kosztu pracy nad materiałem do zajęć tradycyjnych. Pomimo iż zaprezentowane wartości wydają się zawyżone, należy podkreślić sam fakt, że czas pracy zespołu nad materiałem e-learningowym jest znacznie dłuższy, a jednostka czasu pracy bardziej kosztowna, niż ma to miejsce w przypadku konstrukcji materiału dla zajęć tradycyjnych. W obecnym stadium rozwoju e-learningu wymiar nakładów pracy oraz kosztów przytaczanych przez W. Hortona należy uznać za przeszacowany. Wynika to z postępu w automatyzacji procesów tworzenia treści internetowych oraz umasowienia usług związanych z kreacją materiałów e-learningowych. William Horton podkreśla również standard liczebności wirtualnych grup, którego utrzymanie jest stale aktualne i konieczne dla potrzeb utrzymywania jakości kształcenia. Określa on liczebność grupy kursantów na poziomie 20 osób, co gwarantuje należytą opiekę trenera oraz prawidłową realizację procesów interakcji zaplanowanych w scenariuszu kursu. Wielkość ta jest standardem powszechnie obowiązującym w Stanach Zjednoczonych oraz innych krajach, w których edukacja internetowa rozwinięta jest w najbardziej zaawansowany sposób i na największą skalę.

Wyliczenia zwrotu z inwestycji

Znając składowe grup kosztów bezpośrednich, pośrednich i alternatywnych, można ustalić po uwzględnieniu pozycji kosztów stałych i jednostkowych (kosztu krańcowego) - koszt całkowity dla szkolenia tradycyjnego oraz szkolenia internetowego. Ten zaś posłuży do wyliczenia wskaźnika ROI - zwrotu z inwestycji, który może przedstawiać się następująco¹²:

W przypadku potrzeby wyrażenia ROI w postaci wskaźnika procentowego - "Wartość dla klienta" można zastąpić "Korzyściami pieniężnymi netto". Te zaś powstają poprzez różnicę pomiędzy "Korzyściami pieniężnymi" a "Kosztami całkowitymi". W rezultacie wskaźnik ROI przybiera postać:



Kolejnym krokiem w analizie jest określenie progu rentowności inwestycji. Próg ten definiuje czas potrzebny do osiągnięcia zwrotu z inwestycji. W przypadku działalności edukacyjnej próg będzie obliczany według wzoru¹³:



Zarówno w przypadku ROI, jak i BEP mamy do czynienia z pozycją "Korzyści pieniężne". W sytuacji szkoleń, w tym realizowanych w formie e-learningowej, wyliczenie tej pozycji może wydać się zadaniem trudnym do realizacji.

Ustalenie wartości dla współczynnika "Korzyści pieniężne" możliwe jest poprzez analizę wpływu efektów szkolenia na osiągnięcia w ramach działalności danej instytucji. Może to zobrazować analiza wpływu procesów edukacyjnych na realizację wyodrębnionego przedsięwzięcia. Jej zadaniem jest określenie wpływu szkolenia na budowę sukcesu całego przedsięwzięcia przy jednoczesnym zdefiniowaniu wartości procentowej jego udziału. Wynik finansowy z wykonanego projektu będzie podstawą dalszych wyliczeń. Korzyści pieniężne z realizacji szkolenia to procent zysku ustalony na podstawie badania kluczowych czynników sukcesu dla przedsięwzięcia. Podejście to determinuje formę współczynnika czasu dojścia do progu rentowności. Czynnik "Okres" określa czas, jaki potrzebny był do osiągnięcia omawianego wyniku finansowego.

Wskaźnik ROI może przybierać również nieco odmienną formę, w której dzielną są korzyści, zaś dzielnikiem nakłady¹⁴:



W tym przypadku do korzyści zalicza się nie tylko zysk, ale i oszczędności. Ich sumę pomniejsza się o poczynione nakłady inwestycyjne. W ten sposób inną rolę pełnią - wyrażane w oszczędnościach - wszelkie koszty wykazane wcześniej jako typowe dla szkoleń tradycyjnych, a zarazem niewystępujące w pozycjach kosztów szkoleń internetowych. Są to przede wszystkim:

• koszt alternatywny - traktowany jako oszczędność w postaci redukcji efektu utraty potencjalnych korzyści z pracy zawodowej osób, które przebywają na szkoleniu;
• koszt podróży i zakwaterowania - traktowany jako oszczędność w postaci redukcji kosztów szkolenia (dominujący czynnik kosztu krańcowego);
• koszt świadczeń kompensacyjnych dla pracowników - traktowany jako oszczędność w postaci eliminacji pozycji kosztowej (przynajmniej częściowo), tj. umożliwienia wyboru miejsca i czasu nauki, jak również postawienia na formę kształcenia charakteryzującą się lepszymi osiągnięciami w zakresie efektywności nauczania;
• koszt świadczeń kompensacyjnych dla trenerów - traktowany jako oszczędność w postaci optymalizacji ich pracy, również poprzez jej częściowe zastąpienie rozwiązaniami zmieniającymi poziom automatyzacji oraz charakter interakcji (wprowadzenie interakcji uczący się - materiał (platforma) oraz rozwinięcie interakcji pomiędzy uczącymi się);
• koszt druku i dystrybucji materiałów - traktowany jako oszczędność w postaci redukcji kosztów szkolenia (dominujący czynnik kosztu krańcowego).

W przypadku trudności w obliczeniu zysku pieniężnego z realizacji procesu edukacyjnego można się posłużyć jeszcze innym rozwiązaniem. Możliwe jest określenie wskaźnika ROI na podstawie kosztów szkolenia internetowego w porównaniu do kosztów szkolenia tradycyjnego. Przy zastosowaniu metodologii kwalifikacji kosztów, proponowanej przez W. Hortona, wskaźnik zwrotu z inwestycji może przybrać następującą postać¹⁵:



Wyliczony w ten sposób współczynnik podaje się w procentach (x100%). Warto dodać, iż przyjęta przez W. Hortona metodologia wyliczenia wskaźnika ROI wyraźnie wskazuje na jego rolę, tj. ocenę efektywności kosztowej dla szkoleń internetowych jedynie metodą porównawczą wobec kosztów tradycyjnych procesów edukacyjnych. Takie rozwiązanie można potraktować jako podstawowe, jednakże dla wielu decydentów może okazać się niewystarczającym miernikiem, w szczególności w ocenie długookresowej.

Zaprezentowane powyżej podejścia dają bardzo szeroki wachlarz możliwości w tworzeniu wskaźnika ROI. Przykłady te nie wyczerpują jednak spektrum prawdopodobnych rozwiązań w konstrukcji omawianego współczynnika. Badania dotyczące zwrotu z inwestycji w rozwój kapitału ludzkiego, podnoszenie kompetencji i doskonalenie umiejętności pracowników oraz szerzej - poświęcone niematerialnym rezultatom realizowanych procesów edukacyjnych, stały się przedmiotem szerokich analiz wielu ekspertów. Należy wskazać w tym miejscu takich autorów prac, jak: H.D. Stolovitch i J.G. Maurice¹⁶, J.H. Harless¹⁷, T.F. Gilbert¹⁸ czy też H.D. Stolovitch i E.J. Keeps¹⁹. Metody przez nich zaprezentowane i doskonalone pozwalają na identyfikację i analizę luk kompetencyjnych oraz potencjalnych, możliwych do osiągnięcia rezultatów, a przede wszystkim na mierzenie efektywności kosztowej takich działań. Pogłębiona analiza owych metod i dyfuzja rozwiązań badawczych na płaszczyznę edukacji internetowej mogą przynieść nowe wyniki.

Podsumowanie

Zaprezentowany w opracowaniu przegląd klasyfikacji kosztów związanych z organizacją procesów szkoleniowych - w szczególności e-learningu - oraz przedstawione rozwiązania w zakresie mierników finansowych wskazują na szerokie możliwości prowadzenia analiz dotyczących efektywności kosztowej działalności edukacyjnej w instytucjach.

Niniejszy artykuł przedstawia bazowe klasyfikacje i mierniki, równocześnie prezentując autorskie rozwiązania oraz modyfikacje znanych modeli dla potrzeb badania efektywności kosztowej procesów nowoczesnej edukacji, jaką jest e-learning. Jest to zarazem początek bardziej kompleksowych badań, zarówno w zakresie efektywności kosztowej e-learningu, jak i - w szerszym ujęciu - efektywności ekonomicznej, która pozwoli na wskazanie miejsca e-learningu w strategii rozwoju organizacji.

Bibliografia

• L. Bassi, How Much Does eLearning Cost?, "Learning in the New Economy Magazine" jesień 2000, http://linezine.com/2.1/features/lbhmec.htm.
• P. Bramley, Ocena efektywności szkoleń, Oficyna Ekonomiczna, Dom Wydawniczy ABC, Kraków 2001.
• W. Horton, Designing Web-Based Training, Wiley 2000.
• M. Hyla, Przewodnik po e-learningu, Oficyna Ekonomiczna, Kraków 2005.
• D.L. Kirkpatrick, Ocena efektywności szkoleń, Studio Emka, 2001.
• A. Mayo, Kształtowanie strategii szkoleń i rozwoju pracowników, Oficyna Ekonomiczna, Kraków 2002.
• D. Morrison, E-learning Strategies, Wiley 2003.
• M. Olsztyński, Świat według Kirkpatricka, 20 maja 2008 r., "Nowoczesna firma", http://www.nf.pl/Artykul/8124/Swiat-wedlug-Kirkpatricka/efektywnosc-szkolen- Evaluating-Training-Programs-four-levels-Kirkpatrick-model-Kirckpatricka/.
• H.D. Stolovitch, J.G. Maurice, Calculating The Return on Investment in Training: A Critical Analysis and a Case Study, "Performance Improvement", luty 2007, tom 37, nr 8.