E-mentor nr 5 (37) / 2010
Spis treści artykułu
Informacje o autorze
Przypisy
1 Por. L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3, s. 221.
2 Por. M.M. Abbad, D. Moris, C. de Nahlik, Looking under the Bonnet: Factors Affecting Student Adoption of E-learning Systems in Jordan, „International Review of Research in Open Distance Learning” 2009, t. 10, nr 2, s. 2.
3 E.W.T. Ngai, J.K.L. Poon, Y.H.C. Chan, Empirical examination of the adoption of WebCT using TAM, „Computers & Education” 2007, nr 48 (2), s. 252.
4 Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2, s. 209210.
5 K.M.Y. Law, V.C.S. Lee, Y.T. Yu, Learning motivation in e-learning facilitated computer programming courses, „Computers & Education” 2010, nr 55, s. 219221.
6 H. Alomyan, Individual Differences: Implications for Web-based Learning Design, „International Education Journal” 2004, t. 4, nr 4, s. 191.
7 P.-Ch. Sun, R.J. Tsai, G. Finger, Y.-Y. Chen, D. Yeh, What drives a successful e-Learning? An empirical investigation of critical factors influencing learner satisfaction, „Computers & Education” 2008, nr 50, s. 1186.
8 P. Brzyski, T. Knurowski, B. Tobiasz-Adamczyk, Trafność i rzetelność kwestionariusza oceny ogólnego stanu zdrowia SF-20 w populacji osób w podeszłym wieku, „Przegląd Epidemiologiczny” 2003, nr 57, s. 694.
9 A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007, s. 435.
10 J.S. Osterfind, Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats, wyd. 2, Kluwer Academic Publishers, 2002.
11 Por. A. Stanisz, dz.cyt., s. 265-266.
12 G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007, s. 322. Konstrukcję ww. statystyk można znaleźć w: A. Stanisz, dz.cyt., s. 179.
13 P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, Londyn 1986, s. 14.
14 J. C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976, s. 245.
15 StatSoft, Inc. (2009). STATISTICA (data analysis software system), version 9.0, www.statsoft.com, [23.11.2010].
16 Por. W. Bizon, A. Poszewiecki, Efektywność transferu wiedzy poprzez e-learning, [w:] E-learning jako metoda wspomagająca proces kształcenia, Wydawnictwo Wyższej Szkoły Bankowej w Poznaniu, Poznań 2006.
Trafność i rzetelność pomiarów poprzedzających badanie efektywności szkoleń e-learningowych
Wojciech Bizon
Wprowadzenie
W opracowaniu przedstawiono narzędzie mogące służyć do badania jednorodności grup, zanim staną się one grupami szkolonych w kształceniu e-learningowym. Zweryfikowano empirycznie akceptowalną trafność i rzetelność tego pomiaru oraz wskazano możliwe sposoby dalszego wykorzystania jego wyników.
Rozwój kształcenia z wykorzystaniem e-learningu rodzi pytania dotyczące jego efektywności. Niezależnie od tego, jak prowadzone jest nauczanie, podstawowym problemem do rozstrzygnięcia jest kwestia, czy i na ile szkolenia w formie e-learningowej są skuteczniejszą metodą transferu wiedzy niż szkolenia konwencjonalne. Ogólnie można stwierdzić, że efektywność nauczania może być determinowana przez korzyści osiągnięte w zakresie wiedzy, umiejętności czy postaw, zaś miarę efektywności określa to, w jakim stopniu udało się zrealizować założone cele nauczania1. Samo badanie wiąże się natomiast najczęściej z koniecznością analizy finalnych rezultatów testów wiedzy, pomiaru satysfakcji szkolonych osób oraz, mniej obiektywnie, pozostałych obserwacji podczas kursu.
Literatura dostarcza w tym zakresie wielu przykładów odwołujących się zarówno do badań empirycznych, jak i rozważań teoretycznych. Dominującą metodą jest porównywanie rezultatów osiąganych w wymienionych obszarach podczas szkolenia e-learningowego i konwencjonalnego, a celem analiz - określenie, czy i w jakim stopniu kształcenie za pomocą e-learningu jest efektywniejsze od form tradycyjnych. Niezależnie jednak od sposobów mierzenia efektów finalnych konieczne jest zapewnienie obiektywności pomiarów. Jednym z najważniejszych elementów procesu badawczego powinno być założenie, że badane grupy przed podjęciem kształcenia w danej formie nie różnią się między sobą kompetencjami, które mogłyby wpływać na jego finalną efektywność. Do rozwiązania pozostaje zatem problem, w jaki sposób wykazać, że to założenie zostało spełnione.
Rys teoretyczny i cel pracy
W literaturze trudno znaleźć jednoznaczne określenie czynników, które determinują rolę początkowych różnic w grupach, a w aspekcie szkoleń e-learningowych mogą przyczyniać się do zwiększenia lub zmniejszenia ich efektywności. Tym samym nie zaproponowano powszechnie stosowanych narzędzi do pomiaru wspomnianych różnic. Budowane są, rzecz jasna, modele, które można w bezpośredni sposób wykorzystać do oceny czynników wpływających na stopień implementacji rozwiązań e-learningowych i ich akceptacji przez kształcących się, jak na przykład Technology Acceptance Model2, ale i w tym zakresie weryfikacja empiryczna wciąż jeszcze nie jest bogata3.
Próbuje się też wyodrębnić najważniejsze obszary determinujące powodzenie kursów e-learningowych. Ogólnie rzecz biorąc, wyróżnia się czynniki o charakterze zewnętrznym (związane z kursem i jego organizacją) oraz wewnętrznym (przypisane szkolącemu się). Do pierwszej grupy zaliczyć można sposób przygotowania materiału, przyjęty sposób przekazywania wiedzy, wykorzystywaną technologię czy samą organizację kursu4. Z kolei wśród czynników wewnętrznych można odnaleźć takie zmienne jak samodyscyplina i motywacja do nauki5, zainteresowanie dziedziną i poziom wiedzy szkolonych z określonej dziedziny przed rozpoczęciem kursu6, nabyte doświadczenia w kształceniu e-learningowym czy poziom umiejętności związanych z wykorzystywaniem nowoczesnych technologii7. Jeżeli celem porównania będzie wykazanie rozbieżności pomiędzy efektywnością kształcenia e-learningowego i tradycyjnego, to w badaniu wstępnym, służącym wykazaniu braku różnic między poszczególnymi grupami, analizie mogą zostać poddane wyłącznie czynniki wewnętrzne.
Czynniki wewnętrzne można pogrupować w zależności od sposobu ich mierzenia. Zasadne wydaje się stwierdzenie, że najlepszą metodą badania jest wprowadzenie testów sprawdzających rzeczywistą wiedzę i (lub) umiejętności. Jeśli jest to możliwe, należy dążyć do zobiektywizowania pomiaru. W odniesieniu do czynnika określonego jako poziom wiedzy szkolonych z danej dziedziny przed rozpoczęciem kursu (badany np. poprzez test wyboru) jest to zadanie łatwe, natomiast w przypadku pomiaru poziomu motywacji wśród szkolonych - dużo trudniejsze i należy poprzestać na badaniu subiektywnych deklaracji. Dla niektórych czynników możliwy jest oczywiście zarówno pomiar zobiektywizowany, jak i bazujący na deklaracjach. Poziom kompetencji komputerowych można na przykład badać zarówno poprzez testy wiedzy czy testy umiejętności, jak i bazując tylko na opiniach uczestników (samoocena). Dobór odpowiedniej metody powinien uwzględniać kwestie kosztów badań, czasu, który zajmą, i łatwości interpretowania wyników.
Próbą kompleksowego ujęcia poziomu wejściowego czynników wewnętrznych mających wpływ na efektywność nauczania może być zbudowanie skal składających się z pytań dotyczących oceny różnych obszarów przypisanych uczestnikom kształcenia. Wykorzystanie tej metody pozwala nie tylko na zorientowanie się w zakresie występowania lub braku pewnych kompetencji, lecz również umożliwia zbadanie natężenia wybranych cech. Wiąże się jednakże z koniecznością znalezienia odpowiedzi na pytanie, czy skonstruowana skala mierzy w rzeczywistości to zjawisko, do którego pomiaru została zbudowana oraz jak bardzo ten pomiar jest dokładny. W związku z tym określenie przydatności narzędzia pomiarowego wymaga zbadania jego trafności i rzetelności. Rzetelność jest miarą tego, w jakim stopniu wynik testu oddaje rzeczywistą wartość badanej cechy, a w jakim jest zakłócony przez mające różne źródła błędy8. Trafność natomiast można zdefiniować jako stopień zgodności, z jaką narzędzie pomiarowe mierzy to, do mierzenia czego zostało skonstruowane. Trafność zatem związana jest z pytaniem, czy udało nam się zmierzyć to, co planowaliśmy zmierzyć9.
W świetle powyższych rozważań celem pracy jest zaproponowanie narzędzi do trafnych i rzetelnych pomiarów wstępnych, które stanowią podstawę formułowania hipotez o początkowym braku różnic pomiędzy grupami, co umożliwia finalny pomiar efektywności kształcenia e-learningowego i porównywania jej z efektywnością metod tradycyjnych.
Przyjęta metoda
Założono, że czynniki wstępne reprezentowane będą przez wskaźniki określające następujące kwestie (w nawiasach podano skrótowe oznaczenia czynników):
- poziom wiedzy wstępnej osób szkolonych z dziedziny objętej kursem (wiedza),
- deklarowany poziom kompetencji związanych z wykorzystaniem komputerów i internetu (ICT),
- deklarowane doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym (e-learning),
- deklarowane zainteresowanie dziedziną wiedzy, której dotyczy kurs (zainteresowanie),
- deklarowany poziom motywacji do nauki (motywacja).
W kontekście czynników określonych powyżej jako ICT, e-learning, zainteresowanie i motywacja wykorzystano pomiar oparty na kwestionariuszach badających deklaracje uczestników szkolenia i stworzeniu skal charakteryzujących się akceptowalnym poziomem trafności i rzetelności.
Przy budowie pytań kwestionariusza posłużono się zmodyfikowaną pięciostopniową skalą Likerta. Poszczególnym pytaniom przyporządkowano możliwość wyboru jednej z opcji: (1) stanowczo się nie zgadzam, (2) nie zgadzam się, (3) nie mam zdania, (4) zgadzam się, (5) stanowczo się zgadzam. Konstrukcję kwestionariusza odzwierciedla tabela 1 (użyte sformułowanie „badana dziedzina” powinno być zastąpione konkretną nazwą).
Oznaczenie | Treść pytania | Warianty odpowiedzi: (1) stanowczo się nie zgadzam (2) nie zgadzam się (3) nie mam zdania (4) zgadzam się (5) stanowczo się zgadzam |
Skala (ICT) | ||
ICT_1 | Oceniam swój poziom kompetencji w zakresie posługiwania się narzędziami informatycznymi związanymi z internetem (przeglądarka, e-mail, fora) jako rewelacyjny. | (1) (2) (3) (4) (5) |
ICT_2 | W moim codziennym życiu bardzo często wykorzystuję komputer do pracy lub zabawy. | (1) (2) (3) (4) (5) |
ICT_3 | W dużym stopniu wykorzystuję zasoby internetowe na potrzeby mojej pracy bądź nauki. | (1) (2) (3) (4) (5) |
ICT_4 | Bez żadnych problemów potrafię dotrzeć do poszukiwanej informacji, korzystając z zasobów internetowych. | (1) (2) (3) (4) (5) |
ICT_5 | W sposób wszechstronny potrafię sprawnie posługiwać się arkuszem kalkulacyjnym. | (1) (2) (3) (4) (5) |
ICT_6 | W sposób wszechstronny potrafię sprawnie posługiwać się edytorem tekstu. | (1) (2) (3) (4) (5) |
Skala (e-learning) | ||
ELE_1 | Mam bardzo bogate i wszechstronne doświadczenia w studiowaniu bądź uczeniu się poprzez e-learning. | (1) (2) (3) (4) (5) |
Skala (zainteresowanie) | ||
ZAI_1 | Systematycznie śledzę doniesienia związane z badaną dziedziną. | (1) (2) (3) (4) (5) |
ZAI_2 | Bardzo interesuje mnie to, co dzieje się w świecie badanej dziedziny. | (1) (2) (3) (4) (5) |
ZAI_3 | Często dyskutuję na tematy związane z badaną dziedziną . | (1) (2) (3) (4) (5) |
ZAI_4 | Moja wiedza na temat badanej dziedziny jest znacząco wyższa aniżeli przeciętnego Polaka. | (1) (2) (3) (4) (5) |
ZAI_5 | Często odnajduję błędy w interpretacjach z zakresu badanej dziedziny prezentowanych przez media. | (1) (2) (3) (4) (5) |
Skala (motywacja) | ||
MOT_1 | Bardzo zależy mi, aby mieć dobre oceny z egzaminów. | (1) (2) (3) (4) (5) |
MOT_2 | Bez problemu jestem w stanie zrezygnować z przyjemności, aby bardzo dobrze przygotować się do zajęć lub egzaminów. | (1) (2) (3) (4) (5) |
MOT_3 | Aby uzyskać pożądany wynik, jestem skłonny do podjęcia ciężkiej i systematycznej pracy. | (1) (2) (3) (4) (5) |
MOT_4 | Generalnie zawsze bardzo angażuję się w wykonywanie poleceń prowadzącego zajęcia. | (1) (2) (3) (4) (5) |
Źródło: opracowanie własne
Oceny trafności i rzetelności zaproponowanego testu dokonano w badaniu przeprowadzonym w 2010 r. na grupie obejmującej łącznie 213 studentów Wydziału Ekonomicznego Uniwersytetu Gdańskiego (studia stacjonarne i niestacjonarne). Można uznać, że była ona wystarczająco liczna i właściwa dla potrzeb niniejszych analiz11 oraz że występujący wśród badanych stosunek liczby studentów stacjonarnych i niestacjonarnych odzwierciedlał udział każdej z tych podgrup w prowadzonych ogółem na wydziale kursach online (69 proc. ankietowanych stanowili studenci studiów niestacjonarnych). Do badanej grupy celowo nie włączono studentów, którzy w dniu wypełniania ankiety uczestniczyli w kursach e-learningowych, zakładając, że bieżące doświadczenia mogłyby w znaczącym stopniu wpływać na wyniki (szczególnie w zakresie skali e-learning). Wśród ankietowanych udział kobiet wyniósł 50 procent i był o 3 punkty procentowe niższy niż średnia dla wydziału.
Aby zbadać trafność teoretyczną testu, poddano każdą z części skali analizie czynnikowej, w której wyodrębnianie czynników następowało metodą składowych głównych. Zasadność stosowania analizy czynnikowej prowadzonej tą metodą wykazano testem sferyczności Bartletta, zakładając, że macierz korelacji zmiennych nie będzie macierzą jednostkową (czyli taką, która ma na przekątnej jedynki, a na pozostałych polach zera), oraz za pomocą współczynnika Kaisera-Mayera-Olkina (KMO)12, badającego adekwatność macierzy korelacji, przyjmując wartość progową 0,7.
Przy ocenie trafności założono, że:
- wartości własne wyodrębnionych czynników będą większe od jedności (kryterium Kaisera),
- zmienne tworzące poszczególne skale będą korelowały co najmniej na poziomie 0,6 z pierwszą główną składową tworzącą skalę (wartość ładunków czynnikowych większa od 0,6).
- poszczególne zmienne skali będą skorelowane z sumarycznym wynikiem dla danej skali na poziomie co najmniej 0,4 (kryterium Kleine'a13),
- w badanych skalach współczynnik ? Cronbacha będzie wyższy niż 0,7 (kryterium Nunnally'ego14).
Rezultaty
Zasadności przeprowadzenia analizy czynnikowej poprzez wyodrębnienie głównych składowych dla skali ICT dowodzą rezultaty testu sferyczności Bartletta oraz wartość współczynnika KMO. W teście uzyskano wartość statystyki chi2=356,43 (df=15, p=0,000), co pozwala na przyjęcie hipotezy, że dane mogą zostać użyte do wykonania analizy czynnikowej. Z kolei wartość KMO wynosi 0,85 i jest wyższa od założonej wartości progowej. W wyniku analizy czynnikowej przeprowadzonej dla skali ICT wyodrębniono jeden czynnik o wartości własnej większej od 1 (3,095). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,656 do 0,781. Wyodrębniony czynnik wyjaśnił 51,58 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,506 do r=0,647, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 2.
Zmienna | Wartość ładunku czynnikowego | Korelacja pytanie - skala | α po usunięciu pytania |
ICT_3 | 0,781020 | 0,638218 | 0,758754 |
ICT_6 | 0,773601 | 0,646612 | 0,752827 |
ICT_1 | 0,704920 | 0,547996 | 0,776242 |
ICT_2 | 0,692822 | 0,534091 | 0,779462 |
ICT_4 | 0,692058 | 0,539674 | 0,778825 |
ICT_5 | 0,656134 | 0,506370 | 0,794313 |
Wartość własna | 3,094820 | ||
Udział w wyjaśnianiu wariancji całkowitej | 0,515803 | ||
α Cronbacha | 0,803772 |
Źródło: opracowanie własne
Dla zmiennych wchodzących w skład skali zainteresowanie wartość statystyki chi2 w teście Bartletta wyniosła 423,23 (df=10, p=0,000), natomiast KMO=0,78, w związku z czym można było przystąpić do analizy czynnikowej. W przypadku tej skali również wyodrębniono tylko jeden czynnik o wartości własnej większej od 1 (2,974). Zmienne wchodzące w skład skali posiadają wartości ładunkowe od 0,696 do 0,846. Wyodrębniony czynnik wyjaśnił 59,48 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,541 do r=0,719, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,828 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 3.
Zmienna | Wartość ładunku czynnikowego | Korelacja pytanie - skala | α po usunięciu pytania |
ZAI_1 | 0,846413 | 0,713410 | 0,765827 |
ZAI_2 | 0,843451 | 0,718635 | 0,766852 |
ZAI_3 | 0,739318 | 0,585692 | 0,804940 |
ZAI_5 | 0,717841 | 0,570054 | 0,808144 |
ZAI_4 | 0,695823 | 0,541330 | 0,815915 |
Wartość własna | 2,973881 | ||
Udział w wyjaśnianiu wariancji całkowitej | 0,594776 | ||
α Cronbacha | 0,827563 |
Źródło: opracowanie własne
W przypadku skali określającej deklarowany poziom motywacji do nauki uzyskano w teście sferycznym wartość chi2=273,67 (df=6, p=0,000), natomiast KMO=0,77. Świadczy to o zasadności przeprowadzenia analizy czynnikowej, w wyniku której wyodrębniono jeden czynnik o wartości własnej większej od 1 (2,537). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,756 do 0,858. Wyodrębniony czynnik wyjaśnił 63,42 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,579 do r=0,715, spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 4.
Zmienna | Wartość ładunku czynnikowego | Korelacja pytanie - skala | α po usunięciu pytania |
MOT_2 | 0,858401 | 0,715266 | 0,706108 |
MOT_4 | 0,787239 | 0,607847 | 0,760610 |
MOT_3 | 0,779817 | 0,600212 | 0,767964 |
MOT_1 | 0,756448 | 0,579354 | 0,774554 |
Wartość własna | 2,536927 | ||
Udział w wyjaśnianiu wariancji całkowitej | 0,634232 | ||
α Cronbacha | 0,804113 |
Źródło: opracowanie własne
Analiza łączna wszystkich zmiennych odzwierciedlających deklarowany poziom reprezentowany przez uczestników w takich obszarach, jak wykorzystanie komputerów i internetu (ICT), zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz dodatkowo włączone doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym, powinna wykazać, że w rzeczywistości wskazane cztery obszary są względem siebie komplementarne i mogą być traktowane jako czynniki o charakterze wewnętrznym (zależnym od uczącego się) wpływające na finalną efektywność nauczania. W wyniku przeprowadzonej analizy czynnikowej dla wymienionych zmiennych wyodrębniono cztery główne składowe (opierając się na kryterium Kaisera), co może potwierdzać, że zawarte zmienne rzeczywiście mierzą cztery różne wymiary. Dalsze przekształcenia polegające na dokonaniu rotacji czynników (varimax znormalizowana) potwierdzają tę tezę. W tabeli 5 ujęto szczegółowe dane. Ładunki korelujące ze składowymi na poziomie większym od 0,6 pogrubiono.
Zmienna | Składowa 1 | Składowa 2 | Składowa 3 | Składowa 4 |
ICT_1 | 0,659008 | -0,055536 | 0,237336 | 0,163902 |
ICT_2 | 0,660809 | -0,154570 | 0,241157 | 0,078721 |
ICT_3 | 0,774652 | 0,045211 | 0,102103 | 0,122365 |
ICT_4 | 0,684648 | 0,038496 | 0,081438 | 0,087579 |
ICT_5 | 0,643583 | 0,268518 | 0,085927 | -0,070891 |
ICT_6 | 0,780775 | 0,104985 | 0,088034 | -0,190982 |
ELE_1 | 0,132563 | -0,032083 | 0,115089 | 0,914001 |
ZAI_1 | 0,167224 | 0,066058 | 0,818225 | 0,170811 |
ZAI_2 | 0,072468 | 0,047022 | 0,833981 | 0,144155 |
ZAI_3 | 0,142406 | 0,060306 | 0,714939 | 0,092263 |
ZAI_4 | 0,231931 | -0,220232 | 0,670955 | -0,199516 |
ZAI_5 | 0,139065 | 0,009625 | 0,707210 | -0,069662 |
MOT_1 | 0,052562 | 0,753013 | -0,073767 | 0,144208 |
MOT_2 | -0,002643 | 0,856516 | 0,028168 | -0,020052 |
MOT_3 | 0,009926 | 0,768514 | 0,143159 | -0,034016 |
MOT_4 | 0,114369 | 0,773419 | -0,076645 | -0,125358 |
Źródło: opracowanie własne
Wnioski i sugestie
Przeprowadzone analizy dowiodły, że możliwe jest skonstruowanie narzędzia pozwalającego w syntetyczny sposób określać różnice początkowe między grupami, które będą brały udział w eksperymencie badającym efektywność kształcenia e-learningowego w porównaniu do metod tradycyjnych. Wykazano, że zaproponowana metoda pomiarowa pozwala ustalić z akceptowalną trafnością i rzetelnością poziom wyjściowy cech z takich obszarów, jak wykorzystanie komputerów i internetu, zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym. Empirycznie potwierdzono, że wymienione obszary nie przenikają się. Zaproponowano również, by bazując na testach obiektywnych, uzupełnić narzędzia pomiarowe testem wiedzy wstępnej z dziedziny objętej kursem.
Wyznaczenie kompetencji we wskazanych obszarach wśród szkolonych grup przed rozpoczęciem pomiarów efektów kształcenia e-learningowego i tradycyjnego pozwoli na weryfikację założeń o inicjalnej identyczności tych grup. Można tego dokonać na przykład poprzez testy średnich. Jeżeli nie będzie podstaw do tego, by odrzucić hipotezę, że grupy się między sobą nie różnią, należy przeprowadzić dalsze czynności prowadzące do zbadania finalnej efektywności kształcenia e-learningowego w porównaniu z metodami tradycyjnymi. Przykłady takich badań prowadzonych na uczelniach w Polsce są od dawna znane16. Niemniej jednak brak jasno sformułowanych i zbadanych kryteriów wejściowych nie powinien pozwalać na uogólnianie uzyskanych rezultatów.
W przyszłości należy wciąż pracować nad bieżącym weryfikowaniem i uzupełnianiem zaproponowanych skal pomiarowych, w szczególności w obszarze związanym z nabytymi doświadczeniami w uczeniu się poprzez e-learning. Zalecane jest także wypracowanie przejrzystego modelu pomiaru efektywności szkolenia e-learningowego w porównaniu z tradycyjnym w ogóle, poprzez zaproponowanie skal pomiarowych i testów, które nie tylko są od lat stosowane z powodzeniem na świecie, ale też przystają do polskich realiów.
Bibliografia
- M. Abbad, D. Moris, C. de Nahlik, Looking under the Bonnet: Factors Affecting Student Adoption of E-learning Systems in Jordan, „International Review of Research in Open Distance Learning” 2009, t. 10, nr 2.
- Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2.
- H. Alomyan, Individual Differences: Implications for Web-based Learning Design, „International Education Journal” 2004, t. 4, nr 4.
- W. Bizon, A. Poszewiecki, Efektywność transferu wiedzy poprzez e-learning, [w:] E-learning jako metoda wspomagająca proces kształcenia, Wydawnictwo Wyższej Szkoły Bankowej w Poznaniu, Poznań 2006.
- P. Brzyski, T. Knurowski, B. Tobiasz-Adamczyk, Trafność i rzetelność kwestionariusza oceny ogólnego stanu zdrowia SF-20 w populacji osób w podeszłym wieku, „Przegląd Epidemiologiczny” 2003, nr 57.
- L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3.
- P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, London 1986.
- K.M.Y. Law, V.C.S. Lee, Y.T. Yu, Learning motivation in e-learning facilitated computer programming courses, „Computers & Education” 2010, nr 55.
- E.W.T. Ngai, J.K.L. Poon, Y.H.C. Chan, Empirical examination of the adoption of WebCT using TAM, „Computers & Education” 2007, nr 48(2).
- J. C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976.
- J.S. Osterfind, Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats, wyd. 2, Kluwer Academic Publishers, 2002.
- A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007.
- P.Ch. Sun, R.J. Tsai, G. Finger, Y.Y. Chen, D. Yeh, What drives a successful e-Learning? An empirical investigation of critical factors influencing learner satisfaction, „Computers & Education” 2008, nr 50.
- G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007.