Wpływ formy wykładu na jego skuteczność dydaktyczną w kształceniu akademickim - wyniki badań własnych

Wioletta Kwiatkowska

Opracowanie poświęcone jest analizie wyników badań empirycznych wskazujących na wpływ formy wykładu na skuteczność dydaktyczną.

Bezspornym jest stwierdzenie, iż fundamentalnym elementem rozwoju społeczeństwa informacyjnego jest edukacja, która coraz bardziej otwiera się na wypracowane rozwiązania technologiczne. Stąd obserwuje się rosnące znaczenie nowoczesnych technologii w dydaktyce akademickiej, w odniesieniu zarówno do form przekazu treści, jak i płaszczyzny organizacji tego procesu. W wielu ośrodkach akademickich w Polsce podejmowane są działania wdrażające kształcenie na odległość jako dodatkową ofertę dydaktyczną. Można spodziewać się, że w najbliższym czasie forma ta będzie dynamicznie się rozwijać i nabierać znaczenia w zakresie kształcenia akademickiego oraz ustawicznego. W literaturze przedmiotu funkcjonuje wiele definicji pojęcia "kształcenie na odległość". Często jest ono odnoszone wyłącznie do sytuacji, w której uczący się oraz nauczyciel są oddaleni geograficznie od siebie i bazują na urządzeniach elektronicznych. Takie rozumienie ukazuje tylko stronę techniczną tego procesu. Przyjęto więc rozumieć ten termin jako uczenie się i nauczanie na odległość z wykorzystaniem metod korespondencyjnych, tele-, wideokonferencji, sieci komputerowych, radia i telewizji [...]1, oparte na realizacji dwóch programów: opracowanego przez uczelnię programu nauczania stanowiącego ofertę dydaktyczną i programu działań studenta, określającego jego możliwości i cele. System ten wykorzystuje różne media informacyjne i stosuje wszystkie możliwe metody przekazu i komunikacji. System kształcenia na odległość realizuje te same cele, co stacjonarny system edukacji, przy czym nie narzuca formalnych barier rekrutacji i daje duże możliwości wyboru form i metod kształcenia oraz trybu studiowania. Z punktu widzenia uczelni system pozwala elastycznie określać wielkość naboru i nie jest ściśle ograniczony wielkością posiadanych zasobów materialnych (sal wykładowych, laboratoriów, bibliotek itp.), proces kształcenia na odległość jest ściśle dostosowany do możliwości i potrzeb studenta2.

Zdaniem autorki niniejszego opracowania, wykorzystanie technologii informacyjnych w kształceniu na odległość jest nieuniknioną konsekwencją wyzwań, jakie niesie społeczeństwo informacyjne w zakresie edukacji całożyciowej. Ponadto, zgadza się ona ze stwierdzeniem R. Tadeusiewicza, że im bardziej życzliwie odnosimy się więc do omawianej techniki sieciowej i im większe nadzieje wiążemy z jej rozwojem w przyszłości - tym bardziej wnikliwie musimy analizować wszelkie dostrzegane wady i tym staranniej musimy dążyć do ich eliminacji3.

Kształcenie na odległość wymaga przeprowadzenia systematycznych badań empirycznych i podejmowania prób wdrażania tej formy kształcenia do praktyki edukacyjnej. Stąd też w roku akademickim 2004/2005 zapoczątkowany został w Zakładzie Technologii Kształcenia Instytutu Pedagogiki UMK w Toruniu eksperyment pedagogiczny mający na celu między innymi zainicjowanie i przyspieszenie procesu, poprzez który studenci pedagogiki mieli możliwość nie tylko uczestniczyć w wykładach online za pomocą narzędzi do komunikacji synchronicznej, ale również mogli wykorzystywać serwer edukacyjny do wzbogacenia własnego procesu uczenia się. Badania miały charakter etapowy. Pierwszy etap miał na celu skontrolowanie poprawności skonstruowanych narzędzi badawczych i sprawdzenie założonej procedury badawczej, czyli przeprowadzenie badań pilotażowych. W drugim etapie, w badaniu wstępnym, określono stopień inteligencji, motywacji, rodzaj modalności sensorycznej oraz posiadanych przez studentów wiadomości w tematyce stanowiącej przedmiot wykładów. Trzeci etap związany był z badaniami końcowymi, czyli rotacją grup.

Istotnym motywem rozpoczęcia eksperymentu była również chęć weryfikacji sprzecznych informacji nt. skuteczności dydaktycznej procesu kształcenia prowadzonego na odległość, jakie docierały z różnych źródeł. Mianowicie z badań prowadzonych m.in. przez P. Navarro i J. Shoemahera4 wynika, że istnieje ścisły związek pomiędzy formą przekazu wykładów, a ich skutecznością dydaktyczną. Ponadto, wyniki licznych eksperymentów wskazują na wady różnych form kształcenia na odległość, uznając za główny mankament brak interakcji pomiędzy uczącymi się, a także brak nauczyciela. Między innymi badania M. Fasta5 wskazują, że uczący się źle oceniają niemożność kontaktu bezpośredniego z wykładowcą, co wpływa też na wyniki uczenia się. W związku z rozbieżnościami uznano za konieczne podjęcie badań nad skutecznością wykładów prowadzonych na odległość na poziomie szkolnictwa wyższego.

Opierając się na teorii konstruktywistycznej, uznającej osobę uczącą się za aktywnego uczestnika zdolnego do samooceny i wglądu we własne procesy uczenia się i rozumienia, stwierdzono, że wykład prowadzony na odległość, inaczej wykład online, do celów kształcenia uniwersyteckiego, powinien być prowadzony tokiem uproblemowionym informacji w nim zawartych. Poprzez wykład uproblemowiony online autorka opracowania rozumie metodę kształcenia, w aspekcie technicznym - prowadzoną w czasie rzeczywistym za pomocą systemu wideokonferencyjnego, pozwalającego na obustronny przekaz wizji i fonii pomiędzy pomieszczeniem wykładowcy a salą wykładową studentów; w aspekcie dydaktycznym - realizującą założone cele kształcenia; w aspekcie strukturalnym - opartą na segmentach informacyjnych i podsumowujących następujących po sobie w sposób rotacyjny, zapewniający interakcję.

Na podstawie licznych wyników badań6 przyjęto, że wykład o takiej strukturze pozwoli lepiej zrealizować założone cele dydaktyczne, aniżeli wykład tradycyjny.

Założenia metodologiczne

Aby to przypuszczenie zweryfikować na drodze postępowania badawczego, sformułowano następujący problem badawczy: Czy i jaka istnieje zależność między wykładami online z wykorzystaniem serwera edukacyjnego i wykładami obudowanymi mediami złożonymi prowadzonymi w sali wykładowej a skutecznością dydaktyczną?

Zatem przedmiotem prowadzonych badań były zagadnienia związane ze skutecznością procesu dydaktycznego prowadzonego w formie wykładów z zakresu przedmiotu "Edukacja medialna" z zastosowaniem - z jednej strony złożonych mediów edukacyjnych w sali wykładowej, a z drugiej z zastosowaniem serwera edukacyjnego i systemu wideokonferencyjnego - wykłady online.

Proces edukacyjny nie jest jedynie transferem wiedzy z serwera na komputer studenta, dlatego uznano, iż ważne i godne pedagogicznych dociekań są zagadnienia, podejmowane w opisywanej pracy, tj.: skuteczność dydaktyczna zajęć prowadzonych na odległość.

Skuteczność dydaktyczną przyjęto określać jako stosunek między osiągniętym wynikiem a zamierzonym celem7 i wyrażającą się w różnych pozytywnych walorach działań dydaktycznych w postaci przyrostu na poszczególnych jej poziomach, tj. wiedzy, rozumienia, zastosowania, analizy, syntezy oraz oceny wiedzy studentów studiujących stacjonarnie i niestacjonarnie uczestniczących w wykładach z przedmiotu "Edukacja medialna", które przeprowadzono w grupach kontrolnych w sali wykładowej z zastosowaniem mediów złożonych i w grupach eksperymentalnych na odległość z wykorzystaniem serwera edukacyjnego. Przyrost wiedzy określany jest w literaturze poświęconej problematyce skuteczności kształcenia jako (...) różnica w poziomie wiedzy między badaniami końcowymi i początkowymi8, czyli wiedzę charakteryzuje się w sposób ilościowy, przez co zamiennie stosuje się wyrażenia objętość lub zakres wiedzy.

Pomiar skuteczności dydaktycznej przeprowadzony był więc w oparciu o pionierską taksonomię celów kształcenia, która została skonstruowana w 1956 r. przez zespół pedagogów i psychologów amerykańskich pod kierunkiem Benjamina S. Blooma. Ze względu na szeroki zakres badań w obszarze dydaktycznym ograniczono się do aspektu poznawczego, gdyż ma on podstawowe znaczenie dla osiągnięcia celów dydaktycznych.

Po dokonaniu analizy poszczególnych zmiennych i ich wskaźników wybrano jako metodę wiodącą badań naturalny eksperyment pedagogiczny, który pozwoli na empiryczną weryfikację postawionych w pracy problemów i hipotez.

Ponadto, dobierając grupy porównawcze do badań eksperymentalnych, uwzględniono następujące wskazania: badanie od początku do końca, we wszystkich swoich etapach, przeprowadzone zostało przez tego samego wykładowcę, występowały te same treści kształcenia, jednakowy był czas realizacji treści kształcenia, jednakowe warunki studentów do nauki. Pomimo to nie sposób wyeliminować wszystkich elementów, które mogłyby przeszkodzić w prawidłowym przeprowadzeniu eksperymentu. Dokonano więc izolacji nieprzewidzianych czynników od zmiennej eksperymentalnej przez zastosowanie techniki grup rotacyjnych, zwanej również techniką podziału krzyżowego9, polegającej na przemienności ról grup badanych. Dotychczasowa grupa kontrolna staje się zespołem eksperymentalnym, a grupa eksperymentalna - kontrolną. W badaniu zastosowano testy dydaktyczne, czyli zbiór zadań przeznaczonych do rozwiązania w toku jednego zajęcia szkolnego i dostosowanych do określonej treści nauczania w taki sposób, aby z ich wyników można było ustalić, w jakim stopniu treść ta jest opanowana przez badanego10. Każdy test sprawdzający znajomość zagadnień z danego wykładu zawierał 24 zadania. Zastosowano następujące rodzaje zadań testowych: krótkiej odpowiedzi, wyboru prawidłowej odpowiedzi spośród kilku proponowanych, zadania z luką, zadania wielokrotnego wyboru.

Po każdym skończonym wykładzie (Ewolucja roli mediów w oświacie, Zjawisko hakerów a edukacja, Aspekty pedagogiczno-psychologiczne pracy w sieci, Tworzenie filmu, Kod w komunikacji międzyludzkiej, Obraz w kamerze a materiały dydaktyczne) w obu grupach przeprowadzono pomiar końcowy. Ponadto, sprawdzono wiedzę z trzech pierwszych wykładów, po czym role grup zmieniły się i grupa pierwsza stała się grupą kontrolną, grupa druga natomiast została poddana oddziaływaniu zmiennej niezależnej. Pomiar zastosowano również po kolejnych trzech wykładach. Przy czym do analizy brano pod uwagę wyłącznie testy osób uczestniczących we wszystkich (pierwszych trzech i trzech kolejnych) wykładach. Na podstawie zestawienia wyników pretestów i posttestów dokonanych we wszystkich grupach określono rzeczywiste przyrosty wyników uczenia się.

Program wykładów (tradycyjne, online) dotyczył zagadnień wchodzących w obszar edukacji medialnej. Zdecydowano się zaprezentować zarówno teorię, jak i praktykę edukacji medialnej, biorąc pod uwagę, to co "nowe" w edukacji medialnej. Zagadnienia, które podjęto zostały odpowiednio usystematyzowane, wprowadzając uczących się w problematykę jakże trudną i dopiero rozpoznawaną przez naukę.

Skonstruowane testy dydaktyczne zostały poddane analizie trafności i rzetelności pomiaru11. Przeprowadzenie badań pilotażowych pozwoliło na udoskonalenie testów w zakresie eliminacji wpływu zgadywania na ogólny wynik testu.

Podstawowe znaczenie dla badań eksperymentalnych ma dobór próby, rozumiany jako wybranie w specjalny sposób do badań części populacji generalnej określanej próbą reprezentatywną. Główną regułą jest, by próba reprezentowała wszystkie cechy i wszystkie elementy populacji generalnej. Tak więc dobór dokonywany na zbiorowości generalnej wymaga jej dobrej znajomości12.

Badania przeprowadzono w toku zajęć dydaktycznych, co tym samym determinowało dobór próby do badań. Należało tak zaplanować termin przeprowadzenia badań, aby nie reorganizował planu zajęć, a wręcz był z nim zgodny.

Populację próby badawczej stanowili studenci stacjonarni i niestacjonarni II roku pedagogiki UMK. W sumie w badaniach brało udział 179 studentów. Badaniami objętych zostało 75 studentów trybu niestacjonarnego studiów licencjackich i 104 studentów studiów trybu stacjonarnego o tym kierunku. Fakt, że próba rekrutowała się spośród studentów pedagogiki, podyktowany był względami praktycznymi.

Za podstawę konstruowania grup porównywanych przyjęto technikę wyrównanych par13 polegającą na doborze pary osób badanych z obydwu grup tak, aby były one wyrównane. Stosując tę technikę, określono najpierw, jakie zmienne są istotne w podjętych badaniach. Ustalając wpływ formy wykładu (tradycyjna, online) na wyniki nauczania, do zmiennych, które wzięto pod uwagę, należały: poziom inteligencji, preferowany styl uczenia się, poziom motywacji. W badaniach wstępnych przeprowadzono również test sprawdzający znajomość zagadnień, które później były realizowane podczas badań, jednak nie był on wykorzystywany przy doborze grup. Wyniki tego testu stanowiły płaszczyznę porównawczą dla wyników testów przed i po rotacji. Na podstawie takiego podziału do grupy eksperymentalnej i kontrolnej studiów stacjonarnych zaliczono po 52 osoby. Natomiast na studiach niestacjonarnych wyłoniono grupę eksperymentalną w liczbie 36 osób oraz kontrolną liczącą 39 osób. Przed rozpoczęciem każdego wykładu sprawdzano, aby w grupach eksperymentalnych i kontrolnych nie występowały osoby, które uczestniczyły już w danym wykładzie w jednej z dwóch wersji, tzn. tradycyjnej bądź online.

Poszczególne etapy wnioskowania statystycznego pozwoliły na głębszą analizę danych i obiektywne przedstawienie wniosków z badań.

Określone w procedurze metodologicznej badań zmienne zależne (tj. wiadomości, rozumienia, zastosowania, analizy, syntezy i oceny) poddane zostały analizie na poziomie wnioskowania statystycznego w celu weryfikacji hipotez oraz na poziomie określenia stopnia wielkości przyrostu owych zmiennych zależnych. W celu porównania zgodności rozkładu empirycznego z teoretycznym rozkładem normalnym wykorzystano test Kołmogorowa14. Dla wszystkich przedziałów wyznaczono średnie arytmetyczne górnej granicy n-tego przedziału i dolnej granicy n+1 przedziału, następnie średnie te poddano standaryzacji. Odczytano wartości dystrybuanty teoretycznej i wpisano jako wartości rozkładu teoretycznego. Wyszukano największą różnicę (D) pomiędzy wartościami rozkładu empirycznego wyrażonego w proporcjach i wartościami teoretycznymi. Na jej podstawie wyznaczono charakterystykę λ = D√N, gdzie N to liczebność próby, i porównano z wartością krytyczną λα odczytaną z tablicy rozkładu Kołmogorowa dla α=0,05. Przyjmowano rozkład wyników jako normalny, jeżeli λ<λα. Na koniec przeanalizowano wskaźniki wyrażające zmienne zależne, czyli ilościowe ujęcie zmian na przyjętych poziomach wiedzy studentów.

Wyniki badań

Badanie dostarczyło dowodów na to, że w większości wyniki uzyskane przez studentów grup eksperymentalnych i kontrolnych na poziomie ogólnym były zbliżone, co oznacza, że skuteczność dydaktyczna obu form wykładu była porównywalna. Nie stwierdzono, by forma tradycyjna okazała się istotnie skuteczniejsza od formy online na poziomie ogólnym w żadnym z badanych wykładów. Tak więc tam, gdzie stwierdzono istotne różnice wyników, były one powodowane lepszymi rezultatami wykładu online w porównaniu z wykładem tradycyjnym.

W większości wyniki uzyskane przez studentów grup eksperymentalnych i kontrolnych były zbliżone, co oznacza, iż forma wykładu - online, tradycyjny - nie miała wpływu na rezultaty nauczania, czyli skuteczność dydaktyczna obu form wykładu była zbliżona. W analizie skuteczności dydaktycznej formy wykładu (tradycyjny, online) dokonano również oceny wskaźników przyrostu wiedzy na poszczególnych jej poziomach, odpowiednio w grupach stacjonarnych i niestacjonarnych. Procedura badania wskaźników składała się z dwóch etapów: w pierwszym badano przyrost wiedzy przed zamianą grup eksperymentalnych i kontrolnych, w drugim po dokonaniu tej zamiany. Przyrost wiedzy w grupie eksperymentalnej w stosunku do grupy kontrolnej na poziomie wiadomości był wyższy o 5,67%, na poziomie rozumienia przyrost większy o 7,9%, na poziomie zastosowania przyrost większy o 3,05%, na poziomie analizy przyrost większy o 20,6%, na poziomie syntezy większy przyrost o 21,2%. Zatem w grupie studentów stacjonarnych odnotowano większe przyrosty wiedzy na poszczególnych poziomach w grupie eksperymentalnej. Jedynie na poziomie oceny przyrost wiedzy w grupie eksperymentalnej był niższy o ok. 8% w porównaniu z grupą kontrolną.

Natomiast w grupach studiujących niestacjonarnie wyniki nie są już takie jednoznaczne. Odnotowano większe przyrosty w grupie słuchaczy wykładu online na poziomie wiadomości, zastosowania i oceny (na poziomie wiadomości przyrost ten był ponad trzykrotnie większy w porównaniu z grupą kontrolną). W pozostałych trzech przypadkach, tj. na poziomach rozumienia, analizy i syntezy większe przyrosty wiedzy odnotowano w grupie słuchaczy wykładu tradycyjnego. Szczególnie na poziomie rozumienia i analizy przyrosty w grupie eksperymentalnej były niższe o ok. 60% w porównaniu z grupą kontrolną.

Po rotacji grup większe przyrosty wiedzy zaobserwowano w grupie eksperymentalnej w porównaniu z kontrolną na poziomach: rozumienia, analizy, syntezy oraz oceny, zaś na poziomie wiadomości i zastosowania większe przyrosty wiedzy odnotowano w grupie kontrolnej.

W grupach niestacjonarnych natomiast jedynie na poziomie wiadomości przyrost wiedzy był większy w grupie eksperymentalnej. Na pozostałych pięciu badanych poziomach przyrosty wiedzy były większe w grupie słuchaczy wykładu tradycyjnego.

Podsumowując wyniki oceny wskaźników przyrostu wiedzy, zarówno przed, jak i po zamianie grup, stwierdzamy, że na studiach stacjonarnych zdecydowanie częściej przyrosty te były większe w przypadku słuchaczy wykładu online. Na studiach niestacjonarnych zaobserwowano zaś tendencję przeciwną. W tym wypadku zdecydowanie częściej przyrosty okazały się większe w grupach kontrolnych.

Podsumowanie

Można stwierdzić, że narzędzia oparte o technologie informacyjno-komunikacyjne mają szansę podnieść poziom nauki i sprawić, że stanie się ona bardziej dostępna. Nie ma wątpliwości, że wszyscy związani z procesem kształcenia - studenci, nauczyciele, administracja - stoją u progu zmian. Zmian dotyczących sposobów uczenia się, nauczania i w przypadku systemów administracyjnych uczelni również działania. Te zmiany niosą ze sobą nowe obietnice - zwłaszcza dla badaczy skupiających się na aspektach procesu kształcenia, ale również rodzą szereg pytań dotyczących wdrażania technologii informacyjno-komunikacyjnych w proces kształcenia.

Bibliografia

  • K. Denek, Efektywność nauczania programowanego w szkole wyższej, Wydawnictwo Naukowe UAM, Poznań 1971.
  • Ch. Galloway, Psychologia uczenia nauczania, t.1, Państwowe Wydawnictwo Naukowe, Warszawa 1988.
  • S. Juszczyk, Edukacja na odległość. Kodyfikacja pojęć, reguł i procesów, Wydawnictwo Adam Marszałek, Toruń 2002.
  • M. Łobocki, Metody i techniki badań pedagogicznych, Oficyna Wydawnicza "IMPULS", Kraków 2000.
  • B. Niemierko, Pomiar wyników kształcenia, Wydawnictwa Szkolne i Pedagogiczne, Warszawa 1999.
  • B. Niemierko, Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe, Wydawnictwa Szkolne i Pedagogiczne, Warszawa 1975.
  • T. Pilch, Zasady badań pedagogicznych, Wydawnictwo ŻAK, Warszawa 1977.
  • W. Skrzydlewski, Uniwersytecki wykład telewizyjny, Wydawnictwo Naukowe UAM, Poznań 1980.
  • B. Siemieniecki, Badania nad możliwościami i ograniczeniami e-learningu w edukacji, [w:] B. Siemieniecki (red.), Kształcenie na odległość w świetle badań i analiz, Wydawnictwo Adam Marszałek, Toruń 2006.
  • B. Siemieniecki, Efektywność dydaktyczna a spoistość struktury treści, Wydawnictwo Naukowe WSP, Kraków 1990.
  • R. Tadeusiewicz, Społeczność Internetu, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2002.
  • K. Wieczorkowski, Kształcenie na dystans z wykorzystaniem sieci komputerowej CODN, zeszyt 39, Warszawa 1996.
  • K. Wieczorkowski, Telematyczne metody w edukacji na dystans, "Toruńskie Studia Dydaktyczne", rok IV (8), Toruń 1995, s. 51.
  • Z. Wiśniewski (red.), III Sympozjum "Kształcenie na odległość - metody i narzędzi", Wydawnictwo Fundacji Rozwoju Akademii Morskiej, Gdynia 2005.

Informacje o autorze

zobacz podgląd
WIOLETTA KWIATKOWSKA
Autorka prowadzi badania naukowe w Zakładzie Technologii Kształcenia Instytutu Pedagogiki Uniwersytetu Mikołaja Kopernika w Toruniu. Jest również autorką publikacji z zakresu dydaktycznego programowania multimedialnego również sieciowego.

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 K. Wieczorkowski, Telematyczne metody w edukacji na dystans, "Toruńskie Studia Dydaktyczne", rok IV (8), Toruń 1995, s. 51.

2 K. Wieczorkowski, Kształcenie na dystans z wykorzystaniem sieci komputerowej CODN, zeszyt 39, Warszawa 1996.

3 R. Tadeusiewicz, Społeczność Internetu, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2002, s. 14.

4 P. Navarro, J. Shoemaker, Performance and Perception of Distance Learners in Cyberspace, "The American Journal of Distance Education" 2000, nr 77, s. 197-204, [za:] B. Woolls, Edukacja na odległość w San Jose California State University, [w:] S. Juszczyk, Edukacja na odległość. Kodyfikacja pojęć, reguł i procesów, Wydawnictwo Adam Marszałek, Toruń 2002, s. 107.

5 B. Siemieniecki, Badania nad możliwościami i ograniczeniami e-learningu w edukacji, [w:] B. Siemieniecki (red.), Kształcenie na odległość w świetle badań i analiz, Wydawnictwo Adam Marszałek, Toruń 2006, s. 27.

6 Zob. W. Skrzydlewski, Uniwersytecki wykład telewizyjny, Wydawnictwo Naukowe UAM, Poznań 1980; B. Siemieniecki, Efektywność dydaktyczna a spoistość struktury treści, Wydawnictwo Naukowe WSP, Kraków 1990.

7 K. Denek, Efektywność nauczania programowanego w szkole wyższej, Wydawnictwo Naukowe UAM, Poznań 1971, s. 42, [za:] S. Kowalewska, Przydatność prakseologicznej aparatury pojęciowej dla poszczególnych dyscyplin naukowych, Warszawa 1964.

8 Tamże, s. 90.

9 Zob. M. Łobocki, Metody i techniki badań pedagogicznych, Oficyna Wydawnicza "IMPULS", Kraków 2000, s. 112.

10 B. Niemierko, Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe, Wydawnictwa Szkolne i Pedagogiczne, Warszawa 1975, s. 22.

11 B. Niemierko, Pomiar wyników kształcenia, Wydawnictwa Szkolne i Pedagogiczne, Warszawa 1999, s. 198-216.

12 Por. T. Pilch, Zasady badań pedagogicznych, Warszawa 1977, s. 71-76, Z. Zaborowski, Wstęp do metodologii badań pedagogicznych, Wydawnictwo ŻAK, Wrocław 1973, s. 218; M. Łobocki, dz. cyt., s. 131.

13 PZ. Zaborowski, dz. cyt., s. 221.

14 M. Sobczyk, Statystyka, Warszawa 2002, s. 199-200.