Efektywność wspomagania zajęć dydaktycznych e-learningiem w akademickim kształceniu ekonomicznym

Wojciech Bizon

E-learning stanowi jedną z metod transferu wiedzy i w coraz szerszym zakresie wykorzystywany jest w Polsce w kształceniu ekonomicznym na poziomie akademickim. Nowatorstwo metod bazujących na technologiach informacyjno-komunikacyjnych może budzić obawy odnoszące się do efektywności takiego procesu nauczania. W opracowaniu zaprezentowano wyniki badań dotyczących pytania, czy zastąpienie całości lub części zajęć tradycyjnych formą e-learningową wpłynie negatywnie na efektywność kształcenia mierzoną rezultatami testów końcowych oraz stopniem zadowolenia studentów z uczestnictwa w kursie. Na podstawie obserwacji przeprowadzonych wśród studentów Wydziału Ekonomicznego Uniwersytetu Gdańskiego realizujących w roku akademickim 2010/11 przedmiot makroekonomia wykazano, że nie ma statystycznie istotnych różnic zarówno w odniesieniu do wyników testów nabytej wiedzy, jak i postrzeganej przez studentów satysfakcji, które byłyby skutkiem stosowania odmiennych metod kształcenia: zajęć tradycyjnych i e-learningu.

Nauczanie na odległość można zdefiniować jako tę formę kształcenia, w której zachodzące pomiędzy uczącym się a nauczającym interakcje nie wymagają przebywania obu uczestników procesu edukacyjnego jednocześnie w tym samym miejscu. Rozwój nowoczesnych technologii informacyjno-komunikacyjnych przyczynił się do coraz powszechniejszego wspomagania dydaktyki poprzez korzystanie z komputerów i internetu (e-learning). Wzbogacanie oferty dydaktycznej na poziomie kursów akademickich właśnie poprzez stwarzanie możliwości uczenia się za pośrednictwem internetu jest tendencją zauważalną również w polskiej praktyce akademickiej. Z badań wynika, że już w 2009 r. w ponad 45 proc. polskich publicznych uczelni wyższych wykorzystywano e-learning1. Rozmiary i wszechstronność oferty edukacyjnej obejmującej kompletne programy realizowane poprzez e-learning, obecne w systemach kształcenia w najbardziej rozwiniętych krajach2, pozwalają przypuszczać, że zarówno uzupełnianie tradycyjnej oferty, jak i proces zastępowania zajęć tradycyjnych różnymi formami e-learningu, nadal będą miały miejsce.

Systematycznie wzrasta liczba badań poświęconych pomiarom wpływu, jaki wywierają zdalne formy kształcenia na studentów, wykładowców oraz instytucje wykorzystujące ten typ nauczania. O ile pionierskie prace z początku lat 90. XX w. nie obejmowały jeszcze swym zasięgiem nauki za pośrednictwem internetu, o tyle obecnie jako przedmiot badań w tym zakresie dominują właśnie opracowania odnoszące się do tej formy e-learningu. Towarzyszące nowoczesnym sposobom kształcenia bogactwo form i metod realizacji kursów utrudnia uniwersalne porównania oraz oceny jakości i skuteczności nauczania, tym samym wciąż nie udaje się uzyskać jednoznacznych wyników, które w sposób ostateczny porządkowałyby stan wiedzy na temat efektywności wykorzystania e-learningu w odniesieniu do efektywności tradycyjnych metod nauczania.

Wobec wzrostu znaczenia nowoczesnych form transferu wiedzy i roli e-learningu w kształceniu akademickim w świecie, jak również konieczności skonfrontowania ich jakości w porównaniu z metodami tradycyjnymi, celem przeprowadzonego studium było zbadanie, jaka kombinacja zajęć tradycyjnych i e-learningu w polskich realiach kształcenia ekonomicznego na poziomie wyższym jest najlepsza pod względem efektywności, i znalezienie odpowiedzi na pytanie, czy zastępowanie zajęć tradycyjnych e-learningiem wiąże się w omawianych realiach z istotną zmianą zauważalną w efektach kształcenia.

Tło teoretyczne i rozwinięcie hipotez

Efektywność nauczania w szerokim sensie może być determinowana przez korzyści uzyskane w trzech obszarach: wiedzy, umiejętności i postaw, zaś jej miarę definiuje to, w jakim stopniu udało się zrealizować założone cele nauczania3. Tym samym proces badawczy koncentruje się w głównej mierze na analizie finalnych rezultatów testów wiedzy lub umiejętności oraz pomiaru satysfakcji uczestników kursu.

Literatura dostarcza przykładów odwołujących się zarówno do badań empirycznych, jak i rozważań teoretycznych. Dominującą metodą szacowania efektywności e-learningu jest porównywanie rezultatów osiąganych w wymienionych obszarach podczas szkolenia e-learningowego i konwencjonalnego (tradycyjnego), a celem analiz jest określenie, czy i w jakim stopniu kształcenie za pomocą e-learningu jest efektywniejsze od kształcenia w formach tradycyjnych.

Na skuteczność e-learningu w procesach przekazywania wiedzy wpływać mogą takie czynniki, jak: dogodny czasowo dostęp do materiałów, ich logiczny układ, łatwość i szybkość komunikacji w przestrzeni wirtualnej (zarówno między uczestnikami szkolenia i prowadzącym, jak i wewnątrz grupy szkolonych) czy odpowiednie zobrazowanie treści poprzez wykorzystanie zaawansowanych technologicznie obiektów multimedialnych i symulacji. Można przyjąć, że szkolenia z wykorzystaniem e-learningu, których konstrukcja w wymienionych obszarach jest właściwa i które przestrzegają ustalonych reguł, sprzyjają wzrostowi skuteczności transferu wiedzy4. Zatem wnioski z badań nad skutecznością e-learningu, jak również jego coraz niższe koszty względne sprzyjają inicjatywom zmierzającym do zastąpienia zajęć tradycyjnych tymi prowadzonymi w formie e-learningowej. Z drugiej strony jednakże nie należy pomijać przeświadczenia wynikającego z historycznie uwarunkowanego modelu bazującego na osobistej relacji uczeń-mistrz: że jedynie bezpośredni kontakt z prowadzącymi jest optymalną formą transferu wiedzy w środowisku akademickim i jakiekolwiek próby jego zastąpienia sprawią, że nauczanie stanie się mniej efektywne. Wobec tak sformułowanych ram badawczych można zaproponować następującą hipotezę:

    H1: Zastąpienie całości zajęć konwencjonalnych e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
Specyfika kształcenia akademickiego i wypracowane przez wiele lat wzorce nauczania bazują jednocześnie na wykładzie - na którym prezentuje się materiał, oraz na ćwiczeniach - polegających na bieżącej weryfikacji osiągnięć i służących wykształceniu u studentów pożądanych przez wykładowców umiejętności.

Szukając analogii dla kształcenia zdalnego, można wyróżnić również dwie formy e-learningu. Formie tradycyjnego wykładu odpowiadać może sytuacja, w której student ma do dyspozycji materiał prezentujący wybraną tematykę, przy czym rolę wykładowcy aktywnie prezentującego treści dydaktyczne podczas zajęć „przejmują” przygotowane uprzednio materiały e-learningowe. Komunikacja przebiega jednostronnie: studenci w dogodnych terminach (zwykle w określonych uprzednio ramach czasowych) wykorzystują zasoby zgromadzone na platformie bez konsultacji z prowadzącym. Z kolei część uzupełniająca wykład (czyli w nauczaniu tradycyjnym - ćwiczenia) w praktyce e-learningowej może polegać na wykonywaniu przez studentów zadań, które przygotował nauczyciel, bieżącym wspieraniu studentów przez prowadzącego, aktywizowaniu do skutecznej pracy grupowej oraz ocenie przygotowanych rozwiązań. Ta forma wymaga z reguły uprzedniego opanowania niezbędnych treści merytorycznych przez uczestniczących w zajęciach, ustalenia ścisłych ram czasowych oraz aktywnej roli prowadzącego. Można więc przyjąć, że finalny efekt w zakresie efektywności kształcenia jest pochodną dwóch komplementarnych sposobów organizacji zajęć. Wobec tak nakreślonego zróżnicowania możliwych opcji powstają pytania, na ile zasadne może być zastąpienie danej części zajęć konwencjonalnych e-learningiem i jaki to ma wpływ na efektywność transferu wiedzy. Prowadzi to do sformułowania kolejnych hipotez badawczych:
    H2: Zastąpienie części zajęć konwencjonalnych e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
      H2a: Zastąpienie części zajęć konwencjonalnych (ćwiczeń) e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.

      H2b: Zastąpienie części zajęć konwencjonalnych (wykładu) e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
Czynnik kosztowy determinuje wybór optymalnego rozwiązania w zakresie metod transferu wiedzy. Jednakże jeżeli jedynym kryterium będzie wzrost efektywności tego procesu, można rozważyć model bazujący na jednoczesnym wykorzystaniu kształcenia tradycyjnego i e-learningu przy nauczaniu tych samych treści. Oznacza to w rzeczywistości dublowanie działań, które - jak wspomniano - może wynikać z zamiaru zwiększenia efektywności. Tym samym zasadna staje się następująca hipoteza badawcza:
    H3: Wspomaganie zajęć konwencjonalnych e-learningiem wpływa pozytywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
Jedną ze składowych pojęcia efektywności e-learningu jest poziom satysfakcji uczącego się. Od dawna ten miernik wykorzystuje się zarówno w szkoleniach biznesowych, jak i kształceniu akademickim5. Mimo zastrzeżeń związanych z niedoskonałościami kursów e-learningowych oraz barierami natury technologicznej, w obliczu coraz lepszych kompetencji informatycznych użytkowników niektóre badania dowiodły, że poziom satysfakcji wśród osób uczących się e-learningowo jest wyższy niż wśród uczących się tradycyjnie6. Jednakże w świetle ewolucyjnych zmian i przechodzenia od tradycyjnych form kształcenia akademickiego do tych wykorzystujących w większym stopniu kształcenie zdalne i w kontekście związanych z nim obaw zasadna jest kolejna hipoteza:
    H4: Zastąpienie części zajęć konwencjonalnych e-learningiem wpływa negatywnie na postrzeganą satysfakcję uczestników zajęć.

Metoda

Wskazane hipotezy były testowane na grupie studentów studiów niestacjonarnych, którzy realizowali przedmiot makroekonomia w roku akademickim 2010/11 na pierwszym roku studiów I stopnia na Wydziale Ekonomicznym Uniwersytetu Gdańskiego. Badaną grupę stanowili studenci kierunku Międzynarodowe stosunki gospodarcze - grupa kontrolna to studenci kierunku Ekonomia.

Przedstawione wyniki odnoszą się do fazy wstępnej szerszego projektu, który realizowany jest od początku 2010 i trwać będzie do końca 2012. Jego długookresowym celem jest znalezienie odpowiedzi na pytanie, jaki typ kształcenia (e-learning, blended learning, kształcenie tradycyjne, kształcenie poprzez gry lub symulacje itp.) daje najlepsze rezultaty w odniesieniu do wiedzy, umiejętności i postaw w zależności od rodzaju wymaganych kompetencji finalnych (np. wg taksonomii Blooma) w akademickim kształceniu ekonomicznym. To z kolei pozwoli docelowo dopasować poszczególne formy dydaktyczne do nauczania konkretnych zagadnień i tematów z makroekonomii.

Aby móc w pełni przeanalizować uzyskiwane rezultaty, zaplanowane badanie (w ujęciu długookresowym) podzielono na kilka faz. W artykule przedstawiono wyniki fazy wstępnej, która miała na celu wykazanie, że włączanie e-learningu jako metody (jednej z wielu), którą docelowo można zastępować kształcenie tradycyjne (w wymiarze, który będzie później dookreślany), nie jest z natury rzeczy bezzasadne, tzn. że w badaniu nie da się wykazać a priori negatywnego wpływu e-learningu na efektywność kształcenia. Można bowiem przyjąć, że zastąpienie kształcenia tradycyjnego inną formą, która już w fazie wstępnej cechuje się niższą efektywnością, byłoby niewskazane.

Kolejnymi etapami badania (w dłuższym horyzoncie czasowym) będą:

  • zbadanie efektywności różnych form kształcenia (np. gier i symulacji, pracy nad studium przypadku itp.) w porównaniu z kształceniem tradycyjnym,
  • określenie efektywności poszczególnych form kształcenia w zależności od konkretnej tematyki z dziedziny makroekonomii wraz z jednoczesnym zbadaniem efektywności poszczególnych form transferu wiedzy w zależności od poziomu oczekiwanych kompetencji finalnych studentów (wg np. taksonomii Blooma) z poszczególnych zagadnień makroekonomicznych.
Wnioski z kilkuetapowego badania mają posłużyć w praktyce do najlepszego z możliwych dopasowania poszczególnych form kształcenia do określonych zagadnień tematycznych oraz wymaganego od studentów stopnia biegłości w danej tematyce.

Materiał merytoryczny tej fazy badań obejmował 12 zagadnień. Grupa kontrolna uczestniczyła w zajęciach prowadzonych w sposób konwencjonalny, co oznacza, że przeprowadzono 24 godziny wykładów i 24 godziny ćwiczeń w tradycyjnej formie. W grupie badanej kurs makroekonomii podzielono na 4 bloki, różnicując metodę przekazu wiedzy. Podział był arbitralny i wynikał z doświadczeń prowadzących odnoszących się do stopnia trudności poszczególnych bloków, jak również z przekonania o zasadności wprowadzenia rozwiązań blended-learningu poprzez organizowanie na samym początku kursu spotkań twarzą w twarz7. Tematy wewnątrz bloków były zróżnicowane, co oznacza, że nie było sytuacji, żeby jeden blok stanowił zamkniętą całość pod względem treści. Tym samym każde z 12 zagadnień (tematów) było przekazywane przy zastosowaniu jednej z 4 metod:
  • metoda 1: zajęcia wyłącznie za pośrednictwem platformy e-learningowej (3 tematy),
  • metoda 2: 2 godziny wykładu i zajęcia za pośrednictwem platformy e-learningowej (2 tematy),
  • metoda 3: 2 godziny ćwiczeń i zajęcia za pośrednictwem platformy e-learningowej (4 tematy),
  • metoda 4: 2 godziny wykładu i 2 godziny ćwiczeń plus zajęcia za pośrednictwem platformy e-learningowej (3 tematy).
Jak można zauważyć, metoda 1 to pełny e-learning, natomiast metody 2-4 stanowią pewne formy blended-learningu. Na platformie e-learningowej umieszczono kurs składający się z 12 rozbudowanych i niezależnych części, o zakresie tematycznym porównywalnym do 200-stronicowego podręcznika. Całość materiału opracowana została z wykorzystaniem zaawansowanych obiektów multimedialnych (rysunki, animacje, obiekty interaktywne, fotografie), które w łącznej liczbie ponad 200 stanowiły element znacząco wzbogacający warstwę tekstową.

Praca własna studenta z wykorzystaniem platformy opierała się na dwóch elementach. Pierwszym było opanowanie treści wykładu, drugim - wykonanie poleceń prowadzącego związanych bezpośrednio z analizowanym tematem (część quasi-ćwiczeniowa). O ile fakt korzystania lub niekorzystania z możliwości przeglądania zawartości przygotowanych materiałów wykładowych nie był weryfikowany (podobnie jak na uniwersytecie nie jest obowiązkowe uczestniczenie w tradycyjnych wykładach), o tyle wymagano od studentów terminowego rozliczania się z zamieszczanych zadań i poleceń do wykonania. Program zajęć realizowany był sekwencyjnie, co oznacza, że kolejne zagadnienie pojawiało się na platformie dopiero po zakończeniu pracy studentów nad zagadnieniem poprzednim. Z kolei w grupie kontrolnej, realizującej zajęcia w sposób tradycyjny, przeprowadzono 12 dwugodzinnych spotkań o charakterze tradycyjnych wykładów i 12 dwugodzinnych spotkań o charakterze tradycyjnych ćwiczeń.

Kurs w obu grupach prowadzony był przez dwóch wykładowców w taki sposób, aby zapewnić maksymalną porównywalność przekazywanych treści. Oznacza to, że w odniesieniu do części wykładowej przyjęto, że jedynie pierwszy prowadzący będzie odpowiedzialny za całość wykładów w grupie kontrolnej (przeprowadzenie tradycyjnych zajęć) oraz e-learningowej (w zakresie umieszczenia materiałów dydaktycznych na platformie i odpowiadania na pytania studentów dotyczące konkretnych kwestii merytorycznych związanych z tematyką wykładu). W odniesieniu do ćwiczeń przyjęto, że obaj prowadzący odpowiadają za przypisaną im część ćwiczeń tradycyjnych oraz za korespondujące z nimi tematycznie ćwiczenia na platformie.

Pomiaru rezultatów finalnych dokonano po zakończeniu kursu. Jednocześnie, aby zredukować możliwe zakłócenia pomiaru, które wynikają ze specyfiki badanych grup (pierwszy rok studiów, studia niestacjonarne), i związaną z tym m.in. dużą rotację studentów (wysoki wskaźnik rezygnacji), włączono do analiz tylko osoby, które rozliczyły zajęcia (ćwiczenia) ze wszystkich ujętych w planie przedmiotów w danym semestrze i podeszły do wszystkich wymaganych egzaminów.

Badanie składało się z dwóch zasadniczych etapów: wstępnego i głównego. W ramach pierwszego przeprowadzono weryfikację grup badanej i kontrolnej pod względem braku różnic początkowych pomiędzy nimi w zakresie czynników, które mogą determinować poziom efektywności kształcenia z wykorzystaniem e-learningu. W analizowanym przypadku są to: deklarowany stopień opanowania technologii informacyjno-komunikacyjnych (ICT), zainteresowanie problematyką funkcjonowania gospodarki (zainteresowanie), motywacja do nauki (motywacja) oraz poziom wiedzy wstępnej z makroekonomii. W tym celu posłużono się nieznacznie zmodyfikowaną skalą, której trafność i rzetelność została już wcześniej udowodniona8.

Zasadność stosowania analizy czynnikowej prowadzonej tą metodą wykazano testem sferyczności Bartletta, zakładając, że macierz korelacji zmiennych nie będzie macierzą jednostkową (czyli taką, która ma na przekątnej jedynki, a na pozostałych polach zera) oraz za pomocą współczynnika Kaisera-Mayera-Olkina (KMO), badającego adekwatność macierzy korelacji, dla którego przyjęto wartość progową - 0,69.

Przy ocenie trafności założono, że:
  • wartości własne wyodrębnionych czynników będą większe od jedności (kryterium Kaisera),
  • zmienne tworzące poszczególne skale będą korelowały co najmniej na poziomie 0,6 z pierwszą główną składową tworzącą skalę (wartość ładunków czynnikowych większa od 0,6).
Rzetelność badano z kolei, opierając się na metodzie badania spójności wewnętrznej skali. Przyjęto, że:
  • poszczególne zmienne skali będą skorelowane z sumarycznym wynikiem dla danej skali na poziomie co najmniej 0,4 (kryterium Kleine'a10),
  • w badanych skalach współczynnik ? Cronbacha będzie wyższy niż 0,7 (kryterium Nunnally'ego11).
W tabeli 1 zaprezentowano rezultaty analizy.

Tabela 1. Weryfikacja grup pod względem braku różnic początkowych w zakresie czynników determinujących poziom efektywności kształcenia z wykorzystaniem e-learningu
Skala Średnia ocena
(od 1 do 5-najwyższa)
t d(f) p Odchylenie standardowe
grupa badana grupa kontrolna grupa badana grupa kontrolna
ICT 4,116129 4,202985 -0,763347 96 0,447128 0,494703 0,536535
liczba pytań w skali 5
wartość własna 2,7996
% wyjaśnianej wariancji 55,9910
α Cronbacha 0,783560
KMO 0,661
test Bartletta chi2=184,751 d(f)=10 p=0,000
Zainteresowanie 3,306452 3,179104 0,956512 96 0,341216 0,561656 0,634856
liczba pytań w skali 4
wartość własna 2,3850
% wyjaśnianej wariancji 59,6238
α Cronbacha 0,767423
KMO 0,688
test Bartletta chi2=120,785 d(f)=6 p=0,000
Motywacja 4,182796 4,104478 0,760706 96 0,448697 0,420218 0,496482
liczba pytań w skali 3
wartość własna 2,0761
% wyjaśnianej wariancji 69,2035
α Cronbacha 0,771791
KMO 0,662
test Bartletta chi2=84,142 d(f)=3 p=0,000
Test wiedzy wstępnej
(w proc.)
0,165633 0,164753 0,028529 96 0,977300 0,141289 0,142235

Źródło: opracowanie własne

Jak można zauważyć, nie ma podstaw, ażeby sądzić, że grupy różnią się między sobą w sposób statystycznie istotny. Wobec tego, przyjmując, że badane grupy są takie same pod względem czynników wstępnych warunkujących efektywność kształcenia, można było przystąpić do kolejnego etapu badań.

W etapie drugim zbadano rezultaty testów końcowych oraz satysfakcję z prowadzonych zajęć. W ramach testów końcowych każdy ze studentów, niezależnie od grupy, odpowiadał dokładnie na te same pytania. Były to pytania zamknięte z czterema opcjami do wyboru (jedna poprawna). Każde z 12 zagadnień było reprezentowane przez jednakową liczbę pytań, w opinii prowadzących oraz studentów uznanych za pytania o znacznym stopniu trudności12. Odpowiedź właściwa skutkowała przyznaniem punktu, niewłaściwa lub jej brak skutkowały nieprzyznaniem punktu.

Do wprowadzenia i wstępnego przygotowania danych wykorzystano arkusze Microsoft Office Excel 2007. Analizę materiału statystycznego przeprowadzono, wykorzystując pakiet STATISTICA 9.013 (przy ustalaniu KMO i testu sferyczności Bartletta wykorzystano pakiet IBM SPSS Statistics version 19).

Analiza danych i wyniki

W wyniku przeprowadzonego testu końcowego, który badał zdobytą w wyniku kształcenia wiedzę, otrzymano rezultaty dla każdej grupy oraz jednocześnie w ujęciu przekrojowym dla każdej z czterech zaproponowanych metod przekazu treści. Przekształcone na skalę procentową osiągnięcia studentów zaprezentowano w tabeli 2.

Tabela 2. Rezultaty z testu wiedzy końcowej w zależności od przyjętej metody transferu wiedzy
Rezultaty testu finalnego Średnia punktów
[proc.]
t d(f) p Liczba obserwacji Odchylenie standardowe
grupa badana grupa kontrolna grupa badana grupa kontrolna grupa badana grupa kontrolna
Metoda 1 42,2043 44,4030 -0,590169 96 0,556464 31 67 17,0695 17,1881
Metoda 2 41,5323 42,9104 -0,329925 96 0,742176 31 67 16,8903 20,2054
Metoda 3 52,2177 53,0784 -0,227735 96 0,820337 31 67 15,6082 18,1525
Metoda 4 50,5376 46,7662 1,127561 96 0,262316 31 67 16,0923 15,0724
Łącznie 47,5134 47,6368 -0,043757 96 0,965189 31 67 12,2003 13,3196

Źródło: opracowanie własne

Należy zwrócić uwagę, że w żadnej z wymienionych metod nauczania nie odnotowano na tyle wyraźnych różnic w wynikach grup, aby były one statystycznie istotne.

Porównując rezultaty kształcenia przy wykorzystaniu metody 1 z wynikami kształcenia tradycyjnego (zajęcia wyłącznie za pośrednictwem platformy e-learningowej, czyli pełny e-learning w grupie badanej), można stwierdzić, że w grupie kontrolnej odnotowano rezultat o blisko 2 punkty proc. wyższy aniżeli w grupie badanej. Tym samym w analizowanym przypadku efektywność kształcenia konwencjonalnego była nieznacznie wyższa niż efektywność e-learningu. Jednakże przy założonym poziomie istotności (p=0,05) wartość statystyki t=-0,590169 (p=0,556464) wskazuje, że nie ma podstaw, aby odrzucić hipotezę mówiącą o braku istotnych różnic między grupą badaną oraz kontrolną i aby przyjąć, że zastąpienie całości zajęć konwencjonalnych e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów. Wobec tego należy uznać H1 za nieudowodnioną.

Zastosowanie metody 2 w grupie badanej polegało na wdrożeniu pewnej formy blended-learningu. Zajęcia na platformie wzbogacono konwencjonalnym wykładem. Dane z testów wiedzy wskazują, że przy tej metodzie w grupie kontrolnej otrzymane rezultaty były wyższe o mniej niż 1,5 punktu proc. aniżeli w grupie badanej. Wartość statystyki t=-0,329925 (p=0,742176) wskazuje, że nie ma podstaw, by twierdzić, że grupy badana i kontrolna istotnie się różnią, wobec czego nie można przyjąć, że zastąpienie części zajęć konwencjonalnych (ćwiczeń) e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów. A zatem należy uznać H2a za nieudowodnioną.

Podobna sytuacja ma miejsce w przypadku bazowania na metodzie 3 (zajęcia za pośrednictwem platformy e-learningowej, wzbogacone tradycyjnymi ćwiczeniami). Rezultaty w grupie kontrolnej w porównaniu z grupą badaną były wyższe o mniej niż 1 punkt proc. Jednocześnie wartość statystyki t=-0,227735 (p=0,820337) wskazuje, że nie ma podstaw, by twierdzić, że grupy badana i kontrolna istotnie się różnią, wobec czego nie można przyjąć, że zastąpienie części zajęć konwencjonalnych (wykładu) e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów. Tak więc należy uznać H2b również za nieudowodnioną.

Metoda 4 zakładała, że zajęcia prowadzone konwencjonalnie (tradycyjny wykład wraz z tradycyjnymi ćwiczeniami) będą wzbogacone zajęciami e-learningowymi. Oczekiwano, że możliwość skorzystania z dodatkowych zajęć i dostęp do innej formy wspomagających materiałów wpłynie dodatnio na efektywność transferu wiedzy. W rzeczywistości wyższe o niespełna 4 punkty proc. rezultaty z testów wiedzy końcowej odnotowano w grupie badanej, lecz biorąc pod uwagę, że wartość statystyki t=1,127561 (p=0,262316), można przyjąć, że nie ma podstaw, by twierdzić, że grupy badana i kontrolna istotnie się różnią. Tym samym nie można przyjąć, że wspomaganie zajęć konwencjonalnych e-learningiem wpływa (w istotnym statystycznie stopniu) pozytywnie na efektywność kształcenia mierzoną ocenami uzyskanymi z testów. Wobec tego należy uznać H3 za hipotezę nieudowodnioną, mimo że spośród porównywanych w badaniu metod kształcenie komplementarne wydaje się względnie najefektywniejsze.

Drugim aspektem szeroko pojętej efektywności kształcenia jest poziom zadowolenia studentów z kursu. W celu zbadania satysfakcji z zajęć posłużono się pięciostopniową skalą Likerta (od 1: stanowczo się nie zgadzam do 5: stanowczo się zgadzam), przy czym zastosowano ją w odniesieniu do 4 szczegółowych stwierdzeń. Następnie zbadano jej trafność i rzetelność, przy ocenie których uwzględniono analogiczne założenia jak przy opisanym wcześniej badaniu wstępnym.

Zasadności przeprowadzenia analizy czynnikowej poprzez wyodrębnienie głównych składowych dla skali badającej satysfakcję dowodzą rezultaty testu sferyczności Bartletta oraz wartość współczynnika KMO. W teście uzyskano wartość statystyki chi2=134,724 (df=6, p=0,000), co pozwala na przyjęcie hipotezy, że dane mogą zostać użyte do wykonania analizy czynnikowej. Z kolei wartość KMO wynosi 0,666 i jest wyższa od założonej wartości progowej. Parametry skali pokazano w tabeli 3.

Tabela 3. Parametry skali przyjętej do badania zadowolenia studentów w odniesieniu do realizowanego kursu
Pytanie Wartość ładunku czynnikowego Korelacja pytanie - skala
Satysfakcja
1. Jestem zadowolony z przebiegu zajęć (wykłady) 0,801917 0,605065
2. Jestem zadowolony z przebiegu zajęć (ćwiczenia) 0,816063 0,605256
3. Przebieg kursu pokrywał się z moimi wyobrażeniami sprzed jego rozpoczęcia 0,713845 0,528249
4. Prowadzący zajęcia wykazywali wystarczające zaangażowanie podczas kursu 0,780962 0,611941
Wartość własna 2,428507
Udział w wyjaśnianiu wariancji całkowitej 0,607127
α Cronbacha 0,778526

Źródło: opracowanie własne

Przy tak ustalonej skali dokonano pomiaru satysfakcji z kursu w grupie badanej oraz kontrolnej. Wyniki zamieszczono w tabeli 4.
Tabela 4. Poziom satysfakcji studentów w odniesieniu do realizowanego kursu
  Grupa badana Grupa kontrolna t d(f) p Liczba obserwacji Odchylenie standardowe
grupa badana grupa kontrolna grupa badana grupa kontrolna
Średni poziom satysfakcji
(od 1 do 5, 5-najwyższa)
3,991935 4,074627 -0,764364 96 0,446525 31 67 0,526323 0,484641

Źródło: opracowanie własne

Jak można zauważyć, subiektywna satysfakcja z kursu jest nieznacznie wyższa w grupie kontrolnej. Jednakże uwzględniając wartość statystyki t=-0,764364 (p=0,446525), można przyjąć, że nie ma podstaw, by twierdzić, że grupy badana i kontrolna istotnie się różnią. Tym samym nie można jednoznacznie stwierdzić, że zastąpienie części zajęć konwencjonalnych e-learningiem wpływa negatywnie na satysfakcję uczestników zajęć i należy uznać H4 za nieudowodnioną.

Wnioski i zalecenia do dalszych prac

W wyniku badania nie udało się potwierdzić przypuszczeń, że zastąpienie konwencjonalnych zajęć formą e-learningową wpływa negatywnie na efektywność kształcenia mierzoną rezultatami testów wiedzy końcowej i na postrzeganą satysfakcję z zajęć. Przegląd hipotez ujęto w tabeli 5.

Tabela 5. Przegląd hipotez dotyczących efektywności różnych metod kształcenia
Hipoteza Wniosek z badań
H1: Zastąpienie całości zajęć konwencjonalnych e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów. nie udowodniono
H2: Zastąpienie części zajęć konwencjonalnych e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
    H2a: Zastąpienie części konwencjonalnych ćwiczeń e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
    H2b: Zastąpienie zajęć konwencjonalnych wykładów e-learningiem wpływa negatywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów.
nie udowodniono
nie udowodniono
nie udowodniono
H3: Wspomaganie zajęć konwencjonalnych e-learningiem wpływa pozytywnie na efektywność kształcenia mierzoną uzyskanymi ocenami z testów. nie udowodniono nie udowodniono
H4: Zastąpienie części zajęć konwencjonalnych e-learningiem wpływa negatywnie na postrzeganą satysfakcję wśród uczestników zajęć. nie udowodniono

Źródło: opracowanie własne

Mimo że różnice w zmierzonych efektach kształcenia, niezależnie od stosowanych metod, są niewielkie, można zauważyć pewne wyraźniejsze tendencje. Niewątpliwie spośród badanych sposobów nauczania najskuteczniejsza jest forma łącząca zajęcia konwencjonalne, realizowane w pełnym wymiarze, z e-learningiem. Zważywszy jednak na fakt, że w takiej sytuacji zajęcia są de facto dublowane, ostateczne wykorzystanie wspomnianego modelu trzeba poprzedzić dogłębną analizą kosztową.

Jak wykazano, obie formy transferu wiedzy - tradycyjna oraz e-learningowa - dają zbliżone rezultaty. Zatem w uzasadnionych przypadkach możliwe jest zastąpienie części (bądź całości) zajęć konwencjonalnych e-learningiem. Tym samym nasuwa się pytanie o przesłanki takiego działania. Bez wątpienia ważną rolę odgrywają w tej sytuacji takie parametry związane z organizacją konkretnego kursu, jak m.in.: liczba słuchaczy, dostępność kadry, liczba możliwych edycji, baza lokalowa (lub jej brak), koszt wytworzenia materiałów dydaktycznych w formie tradycyjnej oraz e-learningowej, koszty administrowania platformą. Jednocześnie należy wciąż pamiętać, że tak jak różnie prowadzone mogą być tradycyjne zajęcia, tak również kształcenie e-learningowe może być wyraźnie zróżnicowane w formie. Wydaje się celowe, aby dążyć do wypracowania w przyszłości najlepszego modelu kształcenia ekonomicznego z wykorzystaniem internetu. W szczególności warto podjąć prace w zakresie:
  • lepszego dopasowania typu przekazu (e-learning, blended-learning) - w zależności od tematyki i poziomu trudności analizowanych zagadnień,
  • zwiększenia dostępu studentów do nowocześnie zaprojektowanych interaktywnych symulacji, ilustrujących poszczególne zjawiska ekonomiczne,
  • wypracowania skutecznego modelu prezentacji zagadnień cechujących się znacznym udziałem treści liczbowych (wzory, równania, tabele) i wymagających przez to operowania aparatem matematycznym,
  • określenia najbardziej efektywnych form ćwiczeń oraz wspierania aktywności indywidualnej i grupowej w odniesieniu do poszczególnych obszarów tematycznych zajęć,
  • opracowania bazy grupowych aktywności przypisanych danym treściom programowym - do wykorzystania w pracy na platformie.
Natomiast w kwestiach badawczych wciąż trudności sprawia sam proces organizowania pomiarów. Badania powinny być prowadzone w stosunkowo dużym przedziale czasowym i wymagają licznych (wieloelementowych) prób. Wyzwaniem pozostaje także zobiektywizowanie samych pomiarów efektów kształcenia. Mimo doskonalenia metod wiele wątpliwości pozostaje przy ocenie choćby nabywanych za pośrednictwem różnych form kształcenia kompetencji społecznych i postaw. Niewątpliwie w przyszłości należałoby dążyć do wypracowania spójnego modelu pomiarów efektywności kształcenia, który z jednej strony uwzględniałby niezbędne aspekty wejściowe, ważne np. z punktu reprezentatywności badań, z drugiej zaś dawał precyzyjne odpowiedzi w możliwie wielu ważnych dla jakości kształcenia dziedzinach, takich jak nabyta wiedza, umiejętności, kompetencje, postawy czy towarzysząca zajęciom satysfakcja studentów z przebiegu kształcenia i jego efektów.

Bibliografia

  • Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2.
  • M. Alavi, B.C. Wheeler, J.S. Valacich, Using IT to reengineer business education: An exploratory investigation of collaborative telelearning, „MIS Quarterly” 1995, 19 (3).
  • W. Bizon, Czynniki kształtujące efektywność szkoleń e-learningowych, „Nauka i Gospodarka” 2011, nr 1.
  • W. Bizon, Trafność i rzetelność pomiarów poprzedzających badanie efektywności szkoleń e-learningowych, „e-mentor” 2010, nr 5.
  • L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3.
  • L.G. Flores, W.J. Ritchie, J. Wolfe, Exploring Distance Education As an Alternative to Locally Administred Business Strategy Simulations: The Case of Two Universities, „Review of Business Research” 2008, t. 8, nr 3.
  • P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, Londyn 1986.
  • M. Kraska (red.), Elektroniczna gospodarka w Polsce. Raport 2009, Instytut Logistyki i Magazynowania, Poznań 2010.
  • J.C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976.
  • A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007.
  • G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007.

Informacje o autorze

zobacz podgląd
WOJCIECH BIZON

Autor jest adiunktem w Katedrze Makroekonomii Uniwersytetu Gdańskiego. Pełni funkcję prodziekana ds. studiów niestacjonarnych na Wydziale Ekonomicznym UG. Zajmuje się badaniem efektywności procesów transferu wiedzy oraz adaptacją i wdrażaniem kursów e-learningowych. Pełni funkcje eksperckie w zakresie kwestii związanych z budowaniem społeczeństwa informacyjnego.

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 M. Kraska (red.), Elektroniczna gospodarka w Polsce. Raport 2009, Instytut Logistyki i Magazynowania, Poznań 2010, s. 305.

2 US News and Word Raport podaje, że w ramach kształcenia na odległość semestrze zimowym w 2005 r. funkcjonowały w Stanach Zjednoczonych 383 programy, kończące się dyplomem w takich dziedzinach jak biznes, edukacja, inżynieria, pielęgniarstwo czy zdrowie publiczne (L.G. Flores, W.J. Ritchie, J. Wolfe, Exploring Distance Education As an Alternative to Locally Administred Business Strategy Simulations: The Case of Two Universities, „Review of Business Research” 2008, t. 8, nr 3, s. 101).

3 Por. L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment of Effectiveness of Web-based Training on Demand, „Interactive Learning Environments” 2007, t. 15, nr 3, s. 221.

4 W. Bizon, Czynniki kształtujące efektywność szkoleń e-learningowych, „Nauka i Gospodarka” 2011, nr 1, s. 70.

5 M. Alavi, B.C. Wheeler, J.S. Valacich, Using IT to reengineer business education: An exploratory investigation of collaborative telelearning, „MIS Quarterly” 1995, 19 (3), s. 298.

6 L. Chien-Hung, Ch. Tzu-Chiang, H. Yueh-Min, Assessment…, dz.cyt., s. 222.

7 Ch. Abras, A. Ozok, J. Preece, Research methods for validating and deriving guidelines for e-learning online communities, „Interactive Technology & Smart Education” 2005, nr 2, s. 210.

8 W. Bizon, Trafność i rzetelność pomiarów poprzedzających badanie efektywności szkoleń e-learningowych, „e-mentor” 2010, nr 5, s. 25.

9 G. Wieczorkowska, J. Wierzbiński, Statystyka. Analiza badań społecznych, Wydawnictwo Naukowe Scholar, Warszawa 2007, s. 322. Konstrukcję ww. statystyk można znaleźć w publikacji: A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3: Analizy wielowymiarowe, StatSoft, Kraków 2007, s. 179.

10 P. Kline, A Handbook of Test Construction. Introduction to psychometric design, Methuen, Londyn 1986, s. 14.

11 J.C. Nunnally, Psychometric Theory, McGraw-Hill Book Company, Nowy Jork 1976, s. 245.

12 Zgodnie z wynikami badań ankietowych w zakresie ewaluacji jakości kształcenia prowadzonych na Wydziale Ekonomicznym Uniwersytetu Gdańskiego w roku akademickim 2010/2011, w grupie badanej 83 proc. ankietowanych studentów stwierdziło, że wymagania stawiane przez prowadzących zajęcia z makroekonomii są wysokie (w grupie kontrolnej odpowiednio 79 procent).

13 StatSoft (2009), STATISTICA (data analysis software system), version 9.0, www.statsoft.com.