E-mentor logo
EN
Przypisy

1 Por. L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3, s. 221.

2 Por. M.M. Abbad, D. Moris, C. de Nahlik, Looking under the Bonnet: Factors Affecting Student Adoption of E-learning Systems in Jordan, „International Review of Research in Open Distance Learning” 2009, t. 10, nr 2, s. 2.

3 E.W.T. Ngai, J.K.L. Poon, Y.H.C. Chan, Empirical examination of the adoption of WebCT using TAM, „Computers & Education” 2007, nr 48 (2), s. 252.

4 Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2, s. 209–210.

5 K.M.Y. Law, V.C.S. Lee, Y.T. Yu, Learning motivation in e-learning facilitated computer programming courses, „Computers & Education” 2010, nr 55, s. 219–221.

6 H. Alomyan, Individual Differences: Implications for Web-based Learning Design, „International Education Journal” 2004, t. 4, nr 4, s. 191.

7 P.-Ch. Sun, R.J. Tsai, G. Finger, Y.-Y. Chen, D. Yeh, What drives a successful e-Learning? An empirical investigation of critical factors influencing learner satisfaction, „Computers & Education” 2008, nr 50, s. 1186.

8 P. Brzyski, T. Knurowski, B. Tobiasz-Adamczyk, Trafność i rzetelność kwestionariusza oceny ogólnego stanu zdrowia SF-20 w populacji osób w podeszłym wieku, „Przegląd Epidemiologiczny” 2003, nr 57, s. 694.

9 A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007, s. 435.

10 J.S. Osterfind, Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats, wyd. 2, Kluwer Academic Publishers, 2002.

11 Por. A. Stanisz, dz.cyt., s. 265-266.

12 G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007, s. 322. Konstrukcję ww. statystyk można znaleźć w: A. Stanisz, dz.cyt., s. 179.

13 P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, Londyn 1986, s. 14.

14 J. C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976, s. 245.

15 StatSoft, Inc. (2009). STATISTICA (data analysis software system), version 9.0, www.statsoft.com, [23.11.2010].

16 Por. W. Bizon, A. Poszewiecki, Efektywność transferu wiedzy poprzez e-learning, [w:] E-learning jako metoda wspomagająca proces kształcenia, Wydawnictwo Wyższej Szkoły Bankowej w Poznaniu, Poznań 2006.

Trafność i rzetelność pomiarów poprzedzających badanie efektywności szkoleń e-learningowych

Wojciech Bizon

Nowe trendy w edukacji

Wprowadzenie

W opracowaniu przedstawiono narzędzie mogące służyć do badania jednorodności grup, zanim staną się one grupami szkolonych w kształceniu e-learningowym. Zweryfikowano empirycznie akceptowalną trafność i rzetelność tego pomiaru oraz wskazano możliwe sposoby dalszego wykorzystania jego wyników. Rozwój kształcenia z wykorzystaniem e-learningu rodzi pytania dotyczące jego efektywności. Niezależnie od tego, jak prowadzone jest nauczanie, podstawowym problemem do rozstrzygnięcia jest kwestia, czy i na ile szkolenia w formie e-learningowej są skuteczniejszą metodą transferu wiedzy niż szkolenia konwencjonalne. Ogólnie można stwierdzić, że efektywność nauczania może być determinowana przez korzyści osiągnięte w zakresie wiedzy, umiejętności czy postaw, zaś miarę efektywności określa to, w jakim stopniu udało się zrealizować założone cele nauczania1. Samo badanie wiąże się natomiast najczęściej z koniecznością analizy finalnych rezultatów testów wiedzy, pomiaru satysfakcji szkolonych osób oraz, mniej obiektywnie, pozostałych obserwacji podczas kursu.

Literatura dostarcza w tym zakresie wielu przykładów odwołujących się zarówno do badań empirycznych, jak i rozważań teoretycznych. Dominującą metodą jest porównywanie rezultatów osiąganych w wymienionych obszarach podczas szkolenia e-learningowego i konwencjonalnego, a celem analiz - określenie, czy i w jakim stopniu kształcenie za pomocą e-learningu jest efektywniejsze od form tradycyjnych. Niezależnie jednak od sposobów mierzenia efektów finalnych konieczne jest zapewnienie obiektywności pomiarów. Jednym z najważniejszych elementów procesu badawczego powinno być założenie, że badane grupy przed podjęciem kształcenia w danej formie nie różnią się między sobą kompetencjami, które mogłyby wpływać na jego finalną efektywność. Do rozwiązania pozostaje zatem problem, w jaki sposób wykazać, że to założenie zostało spełnione.

Rys teoretyczny i cel pracy

W literaturze trudno znaleźć jednoznaczne określenie czynników, które determinują rolę początkowych różnic w grupach, a w aspekcie szkoleń e-learningowych mogą przyczyniać się do zwiększenia lub zmniejszenia ich efektywności. Tym samym nie zaproponowano powszechnie stosowanych narzędzi do pomiaru wspomnianych różnic. Budowane są, rzecz jasna, modele, które można w bezpośredni sposób wykorzystać do oceny czynników wpływających na stopień implementacji rozwiązań e-learningowych i ich akceptacji przez kształcących się, jak na przykład Technology Acceptance Model2, ale i w tym zakresie weryfikacja empiryczna wciąż jeszcze nie jest bogata3.

Próbuje się też wyodrębnić najważniejsze obszary determinujące powodzenie kursów e-learningowych. Ogólnie rzecz biorąc, wyróżnia się czynniki o charakterze zewnętrznym (związane z kursem i jego organizacją) oraz wewnętrznym (przypisane szkolącemu się). Do pierwszej grupy zaliczyć można sposób przygotowania materiału, przyjęty sposób przekazywania wiedzy, wykorzystywaną technologię czy samą organizację kursu4. Z kolei wśród czynników wewnętrznych można odnaleźć takie zmienne jak samodyscyplina i motywacja do nauki5, zainteresowanie dziedziną i poziom wiedzy szkolonych z określonej dziedziny przed rozpoczęciem kursu6, nabyte doświadczenia w kształceniu e-learningowym czy poziom umiejętności związanych z wykorzystywaniem nowoczesnych technologii7. Jeżeli celem porównania będzie wykazanie rozbieżności pomiędzy efektywnością kształcenia e-learningowego i tradycyjnego, to w badaniu wstępnym, służącym wykazaniu braku różnic między poszczególnymi grupami, analizie mogą zostać poddane wyłącznie czynniki wewnętrzne.

Czynniki wewnętrzne można pogrupować w zależności od sposobu ich mierzenia. Zasadne wydaje się stwierdzenie, że najlepszą metodą badania jest wprowadzenie testów sprawdzających rzeczywistą wiedzę i (lub) umiejętności. Jeśli jest to możliwe, należy dążyć do zobiektywizowania pomiaru. W odniesieniu do czynnika określonego jako poziom wiedzy szkolonych z danej dziedziny przed rozpoczęciem kursu (badany np. poprzez test wyboru) jest to zadanie łatwe, natomiast w przypadku pomiaru poziomu motywacji wśród szkolonych - dużo trudniejsze i należy poprzestać na badaniu subiektywnych deklaracji. Dla niektórych czynników możliwy jest oczywiście zarówno pomiar zobiektywizowany, jak i bazujący na deklaracjach. Poziom kompetencji komputerowych można na przykład badać zarówno poprzez testy wiedzy czy testy umiejętności, jak i bazując tylko na opiniach uczestników (samoocena). Dobór odpowiedniej metody powinien uwzględniać kwestie kosztów badań, czasu, który zajmą, i łatwości interpretowania wyników.

Próbą kompleksowego ujęcia poziomu wejściowego czynników wewnętrznych mających wpływ na efektywność nauczania może być zbudowanie skal składających się z pytań dotyczących oceny różnych obszarów przypisanych uczestnikom kształcenia. Wykorzystanie tej metody pozwala nie tylko na zorientowanie się w zakresie występowania lub braku pewnych kompetencji, lecz również umożliwia zbadanie natężenia wybranych cech. Wiąże się jednakże z koniecznością znalezienia odpowiedzi na pytanie, czy skonstruowana skala mierzy w rzeczywistości to zjawisko, do którego pomiaru została zbudowana oraz jak bardzo ten pomiar jest dokładny. W związku z tym określenie przydatności narzędzia pomiarowego wymaga zbadania jego trafności i rzetelności. Rzetelność jest miarą tego, w jakim stopniu wynik testu oddaje rzeczywistą wartość badanej cechy, a w jakim jest zakłócony przez mające różne źródła błędy8. Trafność natomiast można zdefiniować jako stopień zgodności, z jaką narzędzie pomiarowe mierzy to, do mierzenia czego zostało skonstruowane. Trafność zatem związana jest z pytaniem, czy udało nam się zmierzyć to, co planowaliśmy zmierzyć9.

W świetle powyższych rozważań celem pracy jest zaproponowanie narzędzi do trafnych i rzetelnych pomiarów wstępnych, które stanowią podstawę formułowania hipotez o początkowym braku różnic pomiędzy grupami, co umożliwia finalny pomiar efektywności kształcenia e-learningowego i porównywania jej z efektywnością metod tradycyjnych.

Przyjęta metoda

Założono, że czynniki wstępne reprezentowane będą przez wskaźniki określające następujące kwestie (w nawiasach podano skrótowe oznaczenia czynników):

  • poziom wiedzy wstępnej osób szkolonych z dziedziny objętej kursem (wiedza),
  • deklarowany poziom kompetencji związanych z wykorzystaniem komputerów i internetu (ICT),
  • deklarowane doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym (e-learning),
  • deklarowane zainteresowanie dziedziną wiedzy, której dotyczy kurs (zainteresowanie),
  • deklarowany poziom motywacji do nauki (motywacja).
Dla określenia poziomu wiedzy proponowane jest przeprowadzenie testu wiedzy wstępnej za pomocą ogólnie przyjętych narzędzi, do których należą przede wszystkim testy wyboru. Problematyka prawidłowego konstruowania takich testów, jak również praktyka związana z ich stosowaniem zostały stosunkowo szeroko opisane w literaturze i są często przystępnie ujęte - np. w pracy Stevena J. Osterfinda Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats10.

W kontekście czynników określonych powyżej jako ICT, e-learning, zainteresowanie i motywacja wykorzystano pomiar oparty na kwestionariuszach badających deklaracje uczestników szkolenia i stworzeniu skal charakteryzujących się akceptowalnym poziomem trafności i rzetelności.

Przy budowie pytań kwestionariusza posłużono się zmodyfikowaną pięciostopniową skalą Likerta. Poszczególnym pytaniom przyporządkowano możliwość wyboru jednej z opcji: (1) stanowczo się nie zgadzam, (2) nie zgadzam się, (3) nie mam zdania, (4) zgadzam się, (5) stanowczo się zgadzam. Konstrukcję kwestionariusza odzwierciedla tabela 1 (użyte sformułowanie „badana dziedzina” powinno być zastąpione konkretną nazwą).

Tabela 1. Kwestionariusz badający poziom czynników wewnętrznych wpływających na efektywność kształcenia wśród szkolonych przed rozpoczęciem kursu
Oznaczenie Treść pytania Warianty odpowiedzi:
(1) stanowczo się nie zgadzam
(2) nie zgadzam się
(3) nie mam zdania
(4) zgadzam się
(5) stanowczo się zgadzam
Skala (ICT)
ICT_1 Oceniam swój poziom kompetencji w zakresie posługiwania się narzędziami informatycznymi związanymi z internetem (przeglądarka, e-mail, fora) jako rewelacyjny. (1) (2) (3) (4) (5)
ICT_2 W moim codziennym życiu bardzo często wykorzystuję komputer do pracy lub zabawy. (1) (2) (3) (4) (5)
ICT_3 W dużym stopniu wykorzystuję zasoby internetowe na potrzeby mojej pracy bądź nauki. (1) (2) (3) (4) (5)
ICT_4 Bez żadnych problemów potrafię dotrzeć do poszukiwanej informacji, korzystając z zasobów internetowych. (1) (2) (3) (4) (5)
ICT_5 W sposób wszechstronny potrafię sprawnie posługiwać się arkuszem kalkulacyjnym. (1) (2) (3) (4) (5)
ICT_6 W sposób wszechstronny potrafię sprawnie posługiwać się edytorem tekstu. (1) (2) (3) (4) (5)
Skala (e-learning)
ELE_1 Mam bardzo bogate i wszechstronne doświadczenia w studiowaniu bądź uczeniu się poprzez e-learning. (1) (2) (3) (4) (5)
Skala (zainteresowanie)
ZAI_1 Systematycznie śledzę doniesienia związane z badaną dziedziną. (1) (2) (3) (4) (5)
ZAI_2 Bardzo interesuje mnie to, co dzieje się w świecie badanej dziedziny. (1) (2) (3) (4) (5)
ZAI_3 Często dyskutuję na tematy związane z badaną dziedziną . (1) (2) (3) (4) (5)
ZAI_4 Moja wiedza na temat badanej dziedziny jest znacząco wyższa aniżeli przeciętnego Polaka. (1) (2) (3) (4) (5)
ZAI_5 Często odnajduję błędy w interpretacjach z zakresu badanej dziedziny prezentowanych przez media. (1) (2) (3) (4) (5)
Skala (motywacja)
MOT_1 Bardzo zależy mi, aby mieć dobre oceny z egzaminów. (1) (2) (3) (4) (5)
MOT_2 Bez problemu jestem w stanie zrezygnować z przyjemności, aby bardzo dobrze przygotować się do zajęć lub egzaminów. (1) (2) (3) (4) (5)
MOT_3 Aby uzyskać pożądany wynik, jestem skłonny do podjęcia ciężkiej i systematycznej pracy. (1) (2) (3) (4) (5)
MOT_4 Generalnie zawsze bardzo angażuję się w wykonywanie poleceń prowadzącego zajęcia. (1) (2) (3) (4) (5)

Źródło: opracowanie własne

Oceny trafności i rzetelności zaproponowanego testu dokonano w badaniu przeprowadzonym w 2010 r. na grupie obejmującej łącznie 213 studentów Wydziału Ekonomicznego Uniwersytetu Gdańskiego (studia stacjonarne i niestacjonarne). Można uznać, że była ona wystarczająco liczna i właściwa dla potrzeb niniejszych analiz11 oraz że występujący wśród badanych stosunek liczby studentów stacjonarnych i niestacjonarnych odzwierciedlał udział każdej z tych podgrup w prowadzonych ogółem na wydziale kursach online (69 proc. ankietowanych stanowili studenci studiów niestacjonarnych). Do badanej grupy celowo nie włączono studentów, którzy w dniu wypełniania ankiety uczestniczyli w kursach e-learningowych, zakładając, że bieżące doświadczenia mogłyby w znaczącym stopniu wpływać na wyniki (szczególnie w zakresie skali e-learning). Wśród ankietowanych udział kobiet wyniósł 50 procent i był o 3 punkty procentowe niższy niż średnia dla wydziału.

Aby zbadać trafność teoretyczną testu, poddano każdą z części skali analizie czynnikowej, w której wyodrębnianie czynników następowało metodą składowych głównych. Zasadność stosowania analizy czynnikowej prowadzonej tą metodą wykazano testem sferyczności Bartletta, zakładając, że macierz korelacji zmiennych nie będzie macierzą jednostkową (czyli taką, która ma na przekątnej jedynki, a na pozostałych polach zera), oraz za pomocą współczynnika Kaisera-Mayera-Olkina (KMO)12, badającego adekwatność macierzy korelacji, przyjmując wartość progową 0,7.

Przy ocenie trafności założono, że:
  • wartości własne wyodrębnionych czynników będą większe od jedności (kryterium Kaisera),
  • zmienne tworzące poszczególne skale będą korelowały co najmniej na poziomie 0,6 z pierwszą główną składową tworzącą skalę (wartość ładunków czynnikowych większa od 0,6).
Rzetelność badano z kolei, opierając się na metodzie badania spójności wewnętrznej skali. Przyjęto, że:
  • poszczególne zmienne skali będą skorelowane z sumarycznym wynikiem dla danej skali na poziomie co najmniej 0,4 (kryterium Kleine'a13),
  • w badanych skalach współczynnik ? Cronbacha będzie wyższy niż 0,7 (kryterium Nunnally'ego14).
Zdecydowano się także na włączenie do analiz grupy czynników określonych jako e-learning, która zawierała tylko jedną zmienną (jedno pytanie w kwestionariuszu). Mimo że w takim przypadku trudno zweryfikować trafność i rzetelność skali, założono, że docelowo grupa zmiennych e-learning powinna być powiększana wraz z naturalnym rozwojem e-learningu i zdobywaniem kolejnych doświadczeń w wykorzystaniu tej formy kształcenia przez uczących się (obecnie wykorzystanie e-learningu jako metody transferu wiedzy wciąż nie jest powszechne). W związku z tym zaplanowano włączanie do skali pytań precyzujących kwestie blisko związane np. z przebytymi kursami e-learningowymi czy znajomością ich technologii. Analizę materiału statystycznego przeprowadzono, wykorzystując pakiet STATISTICA 9.015.

Rezultaty

Zasadności przeprowadzenia analizy czynnikowej poprzez wyodrębnienie głównych składowych dla skali ICT dowodzą rezultaty testu sferyczności Bartletta oraz wartość współczynnika KMO. W teście uzyskano wartość statystyki chi2=356,43 (df=15, p=0,000), co pozwala na przyjęcie hipotezy, że dane mogą zostać użyte do wykonania analizy czynnikowej. Z kolei wartość KMO wynosi 0,85 i jest wyższa od założonej wartości progowej. W wyniku analizy czynnikowej przeprowadzonej dla skali ICT wyodrębniono jeden czynnik o wartości własnej większej od 1 (3,095). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,656 do 0,781. Wyodrębniony czynnik wyjaśnił 51,58 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,506 do r=0,647, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 2.

Tabela 2. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowany poziom kompetencji związanych z wykorzystaniem komputerów i internetu (ICT)
Zmienna Wartość ładunku czynnikowego Korelacja pytanie - skala α po usunięciu pytania
ICT_3 0,781020 0,638218 0,758754
ICT_6 0,773601 0,646612 0,752827
ICT_1 0,704920 0,547996 0,776242
ICT_2 0,692822 0,534091 0,779462
ICT_4 0,692058 0,539674 0,778825
ICT_5 0,656134 0,506370 0,794313
 
Wartość własna 3,094820
Udział w wyjaśnianiu wariancji całkowitej 0,515803
α Cronbacha 0,803772

Źródło: opracowanie własne

Dla zmiennych wchodzących w skład skali zainteresowanie wartość statystyki chi2 w teście Bartletta wyniosła 423,23 (df=10, p=0,000), natomiast KMO=0,78, w związku z czym można było przystąpić do analizy czynnikowej. W przypadku tej skali również wyodrębniono tylko jeden czynnik o wartości własnej większej od 1 (2,974). Zmienne wchodzące w skład skali posiadają wartości ładunkowe od 0,696 do 0,846. Wyodrębniony czynnik wyjaśnił 59,48 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,541 do r=0,719, tym samym spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,828 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 3.

Tabela 3. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowane zainteresowanie dziedziną wiedzy, której dotyczy kurs (zainteresowanie)
Zmienna Wartość ładunku czynnikowego Korelacja pytanie - skala α po usunięciu pytania
ZAI_1 0,846413 0,713410 0,765827
ZAI_2 0,843451 0,718635 0,766852
ZAI_3 0,739318 0,585692 0,804940
ZAI_5 0,717841 0,570054 0,808144
ZAI_4 0,695823 0,541330 0,815915
 
Wartość własna 2,973881
Udział w wyjaśnianiu wariancji całkowitej 0,594776
α Cronbacha 0,827563

Źródło: opracowanie własne

W przypadku skali określającej deklarowany poziom motywacji do nauki uzyskano w teście sferycznym wartość chi2=273,67 (df=6, p=0,000), natomiast KMO=0,77. Świadczy to o zasadności przeprowadzenia analizy czynnikowej, w wyniku której wyodrębniono jeden czynnik o wartości własnej większej od 1 (2,537). Zmienne wchodzące w skład skali posiadają wartości ładunkowe na poziomie od 0,756 do 0,858. Wyodrębniony czynnik wyjaśnił 63,42 proc. całkowitej wariancji. Zmienne korelują z sumarycznym wynikiem skali na poziomie od r=0,579 do r=0,715, spełniając kryterium Kleine'a. Współczynnik α Cronbacha wyniósł 0,804 i jednocześnie usunięcie jakiejkolwiek zmiennej nie przyczyniłoby się do jego zwiększenia. Szczegółowe dane zawarto w tabeli 4.

Tabela 4. Macierz nierotowanych głównych składowych oraz wyniki analizy spójności wewnętrznej dla skali określającej deklarowany poziom motywacji do nauki (motywacja)
Zmienna Wartość ładunku czynnikowego Korelacja pytanie - skala α po usunięciu pytania
MOT_2 0,858401 0,715266 0,706108
MOT_4 0,787239 0,607847 0,760610
MOT_3 0,779817 0,600212 0,767964
MOT_1 0,756448 0,579354 0,774554
 
Wartość własna 2,536927
Udział w wyjaśnianiu wariancji całkowitej 0,634232
α Cronbacha 0,804113

Źródło: opracowanie własne

Analiza łączna wszystkich zmiennych odzwierciedlających deklarowany poziom reprezentowany przez uczestników w takich obszarach, jak wykorzystanie komputerów i internetu (ICT), zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz dodatkowo włączone doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym, powinna wykazać, że w rzeczywistości wskazane cztery obszary są względem siebie komplementarne i mogą być traktowane jako czynniki o charakterze wewnętrznym (zależnym od uczącego się) wpływające na finalną efektywność nauczania. W wyniku przeprowadzonej analizy czynnikowej dla wymienionych zmiennych wyodrębniono cztery główne składowe (opierając się na kryterium Kaisera), co może potwierdzać, że zawarte zmienne rzeczywiście mierzą cztery różne wymiary. Dalsze przekształcenia polegające na dokonaniu rotacji czynników (varimax znormalizowana) potwierdzają tę tezę. W tabeli 5 ujęto szczegółowe dane. Ładunki korelujące ze składowymi na poziomie większym od 0,6 pogrubiono.

Tabela 5. Macierz głównych składowych z rotacją varimax (znormalizowana) dla zmiennych badających deklarowany poziom czynników wstępnych mających wpływ na efektywność nauczania
Zmienna Składowa 1 Składowa 2 Składowa 3 Składowa 4
ICT_1 0,659008 -0,055536 0,237336 0,163902
ICT_2 0,660809 -0,154570 0,241157 0,078721
ICT_3 0,774652 0,045211 0,102103 0,122365
ICT_4 0,684648 0,038496 0,081438 0,087579
ICT_5 0,643583 0,268518 0,085927 -0,070891
ICT_6 0,780775 0,104985 0,088034 -0,190982
ELE_1 0,132563 -0,032083 0,115089 0,914001
ZAI_1 0,167224 0,066058 0,818225 0,170811
ZAI_2 0,072468 0,047022 0,833981 0,144155
ZAI_3 0,142406 0,060306 0,714939 0,092263
ZAI_4 0,231931 -0,220232 0,670955 -0,199516
ZAI_5 0,139065 0,009625 0,707210 -0,069662
MOT_1 0,052562 0,753013 -0,073767 0,144208
MOT_2 -0,002643 0,856516 0,028168 -0,020052
MOT_3 0,009926 0,768514 0,143159 -0,034016
MOT_4 0,114369 0,773419 -0,076645 -0,125358

Źródło: opracowanie własne

Wnioski i sugestie

Przeprowadzone analizy dowiodły, że możliwe jest skonstruowanie narzędzia pozwalającego w syntetyczny sposób określać różnice początkowe między grupami, które będą brały udział w eksperymencie badającym efektywność kształcenia e-learningowego w porównaniu do metod tradycyjnych. Wykazano, że zaproponowana metoda pomiarowa pozwala ustalić z akceptowalną trafnością i rzetelnością poziom wyjściowy cech z takich obszarów, jak wykorzystanie komputerów i internetu, zainteresowanie dziedziną wiedzy, której dotyczy kurs, motywacja do nauki oraz doświadczenie w zakresie uczestniczenia w kształceniu e-learningowym. Empirycznie potwierdzono, że wymienione obszary nie przenikają się. Zaproponowano również, by bazując na testach obiektywnych, uzupełnić narzędzia pomiarowe testem wiedzy wstępnej z dziedziny objętej kursem.

Wyznaczenie kompetencji we wskazanych obszarach wśród szkolonych grup przed rozpoczęciem pomiarów efektów kształcenia e-learningowego i tradycyjnego pozwoli na weryfikację założeń o inicjalnej identyczności tych grup. Można tego dokonać na przykład poprzez testy średnich. Jeżeli nie będzie podstaw do tego, by odrzucić hipotezę, że grupy się między sobą nie różnią, należy przeprowadzić dalsze czynności prowadzące do zbadania finalnej efektywności kształcenia e-learningowego w porównaniu z metodami tradycyjnymi. Przykłady takich badań prowadzonych na uczelniach w Polsce są od dawna znane16. Niemniej jednak brak jasno sformułowanych i zbadanych kryteriów wejściowych nie powinien pozwalać na uogólnianie uzyskanych rezultatów.

W przyszłości należy wciąż pracować nad bieżącym weryfikowaniem i uzupełnianiem zaproponowanych skal pomiarowych, w szczególności w obszarze związanym z nabytymi doświadczeniami w uczeniu się poprzez e-learning. Zalecane jest także wypracowanie przejrzystego modelu pomiaru efektywności szkolenia e-learningowego w porównaniu z tradycyjnym w ogóle, poprzez zaproponowanie skal pomiarowych i testów, które nie tylko są od lat stosowane z powodzeniem na świecie, ale też przystają do polskich realiów.

Bibliografia

  • M. Abbad, D. Moris, C. de Nahlik, Looking under the Bonnet: Factors Affecting Student Adoption of E-learning Systems in Jordan, „International Review of Research in Open Distance Learning” 2009, t. 10, nr 2.
  • Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2.
  • H. Alomyan, Individual Differences: Implications for Web-based Learning Design, „International Education Journal” 2004, t. 4, nr 4.
  • W. Bizon, A. Poszewiecki, Efektywność transferu wiedzy poprzez e-learning, [w:] E-learning jako metoda wspomagająca proces kształcenia, Wydawnictwo Wyższej Szkoły Bankowej w Poznaniu, Poznań 2006.
  • P. Brzyski, T. Knurowski, B. Tobiasz-Adamczyk, Trafność i rzetelność kwestionariusza oceny ogólnego stanu zdrowia SF-20 w populacji osób w podeszłym wieku, „Przegląd Epidemiologiczny” 2003, nr 57.
  • L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3.
  • P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, London 1986.
  • K.M.Y. Law, V.C.S. Lee, Y.T. Yu, Learning motivation in e-learning facilitated computer programming courses, „Computers & Education” 2010, nr 55.
  • E.W.T. Ngai, J.K.L. Poon, Y.H.C. Chan, Empirical examination of the adoption of WebCT using TAM, „Computers & Education” 2007, nr 48(2).
  • J. C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976.
  • J.S. Osterfind, Constructing Test Items: Multiple-Choice, Constructed-Response, Performance and Other Formats, wyd. 2, Kluwer Academic Publishers, 2002.
  • A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007.
  • P.Ch. Sun, R.J. Tsai, G. Finger, Y.Y. Chen, D. Yeh, What drives a successful e-Learning? An empirical investigation of critical factors influencing learner satisfaction, „Computers & Education” 2008, nr 50.
  • G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007.

Informacje o autorze

WOJCIECH BIZON

Autor jest adiunktem w Katedrze Makroekonomii Uniwersytetu Gdańskiego. Pełni funkcję prodziekana ds. studiów niestacjonarnych na Wydziale Ekonomicznym UG. Zajmuje się badaniem efektywności procesów transferu wiedzy oraz adaptacją i wdrażaniem kursów e-learningowych. Pełni funkcje eksperckie w zakresie kwestii związanych z budowaniem społeczeństwa informacyjnego.