Peer-review experiment ;-)

Dorota Kwiatkowska

 

Niedawno miałam okazję przygotować projekt dydaktyczny, w pełni e-learningowy, skierowany do nauczycieli i realizowany na platformie Moodle, a następnie poprowadzić w oparciu o niego zajęcia dydaktyczne. A że lubię eksperymenty, w swoim projekcie postanowiłam tym razem w maksymalnym stopniu wykorzystać potencjał „wirtualnej społeczności”, jaką tworzą uczący się na kursie zdalnym. Zastosowałam różne działania, ale tutaj napiszę o jednym – wykorzystaniu wzajemnej informacji zwrotnej osób uczących się, tzw. peer-review.

 

Projektując aktywności zdecydowałam się zupełnie zrezygnować z formularza Zadania, jaki oferuje Moodle i udostępnić wszystkie prace uczestników zajęć na forum kursu. W tym celu korzystałam z forum dyskusyjnego, gdzie każdy z kursantów zamieszczał swoje prace, które następnie były recenzowane przez innych. Nie wiem jakie są Państwa doświadczenia w tym względzie, ale ja – jako uczestnik – z taką formą pracy spotkałam się chyba tylko raz (i to nie na kursie polskim*). Najczęściej zadania są skrzętnie chowane i potajemnie ocenia je prowadzący ;-)

 

Każde** zaproponowane przeze mnie zadanie składało się z dwóch etapów: pracy merytorycznej (opartej, na ile to możliwe, o case study) oraz pracy recenzenta – kursant otrzymywał punkty (wartościowe) za sformułowanie konstruktywnej informacji zwrotnej do zadań co najmniej dwóch innych uczestników zajęć. W efekcie kursanci nie tylko mogli zapoznać się z 20 różnymi pomysłami na rozwiązanie tego samego problemu, ale także otrzymywali zawsze informacje zwrotne na temat wykonanej przez siebie pracy od innych uczestników zajęć. Prowadzący mógł komentować wybrane elementy wykonanych zadań publicznie, ale ich oceny dokonywał indywidualnie (w trybie modułowej informacji zwrotnej).

 

Jak sprawdziła mi się ta koncepcja? Kilka moich spostrzeżeń i wniosków na przyszłość:

  • Udostępnienie wszystkich prac kursantów na forum klasowym bardzo wzbogaca merytoryczną zawartość kursu, dając możliwość analizowania wielu różnych rozwiązań postawionych przed uczestnikami problemów (chyba, że są to problemy zamknięte, ale i na to jest rada: uczestnik widzi prace innych dopiero po złożeniu swojej). Nie ma zatem większego sensu ukrywanie zadań przed uczniami ;-) Formularz Zadania jest może i wygodny, ale z punktu widzenia wartości dydaktycznej procesu – raczej mało wartościowy. Punkty za zadanie można wprowadzać za pośrednictwem forum lub, w ostateczności, ręcznie, zaś informację zwrotną, np. w trybie tygodniowym, przesyłać pocztą. 
  • Istnieje bardzo widoczna i duża bariera dotycząca przyjmowania oceny, a także budowania i przekazywania informacji zwrotnej do pracy innych uczestników kursu, szczególnie takiej, która wymaga sformułowania choćby drobnych sugestii poprawy, nie mówiąc już o wskazaniu błędów. W zadaniu, w którym zaproponowałam wypełnienie formularza oceny (jako wzoru informacji zwrotnej), na 22 uczestników zajęć pole „konstruktywna krytyka" (sformułuj sugestie poprawy) wypełnił tylko 1!  
  • Istnieje przekonanie, iż nauczyciele są szczególnie wrażliwi i obawiają się oceny bardziej niż „przeciętny” uczeń, chociaż oceny boimy się wszyscy… Jeżeli tak jest rzeczywiście, to nauczyciele swój lęk przed oceną przenoszą na swoich uczniów (nie może być inaczej). Tak więc „rosną” nam kolejne pokolenia, które nie umieją skorzystać z tak wartościowego źródła informacji, jakim jest inny uczeń (podczas gdy technologie dają ku temu fajne możliwości). 
  • Warto zatem wprowadzać tego typu aktywność stopniowo oraz prowadzić działania "edukacyjne" – uczyć kursantów tego, jak poprawnie formułować informację zwrotną. Ja zastosowałam tutaj początkowo wspomniany wyżej formularz. Pozytywne jest to, że kolejne tygodnie pracy pokazywały coraz większą otwartość na wzajemną ocenę (chociaż właściwie do końca u większości kursantów pozostał opór przed formułowaniem informacji „negatywnych”). Nauczyciele sprawozdali mi również, że sami zaczęli stosować ten typ oceny w swojej pracy :-)
  • Zapytani o to, co przede wszystkim motywowało ich do logowania się na platformę (mimo ciągłego deficytu czasowego) prawie wszyscy kursanci wskazali na ciekawość tego, jak inni uczestnicy zajęć skomentowali ich prace! Mam wrażenie, że było to czasami ważniejsze niż informacja zwrotna i ocena formułowana przez prowadzącego. W związku z tym, iż kursanci mieli problem z formułowaniem „konstruktywnej krytyki”, ich informacje zwrotne były pełne entuzjazmu i wsparcia, co zdecydowanie podnosiło poziom energii (pozytywnej) na zajęciach :-)


Czyli warto. Muszę tylko zastanowić się, jak lepiej zorganizować pracę nauczyciela, który zamiast 20 zadań miał do przeczytania (albo chociaż przejrzenia) dodatkowo 40 informacji zwrotnych. Jak rozwiążę ten problem, będzie idealnie :-) A na razie testuję peer-review dalej, na moich biednych studentach... Kontrolnie zapytałam również nauczycieli akademickich, których mam pod opieką, czy nie chcieliby wprowadzić „otwartej” wzajemnej oceny prac studentów do swoich zajęć. Co było do przewidzenia, obawiają się, że nie będzie wypełniona rubryka „konstruktywnej krytyki”. Ciekawe dlaczego? ;-)

 

A jakie są Państwa doświadczenia z peer-review? Jako uczniów i nauczycieli? Chętnie poznam...

 

DK

 

* z racji swojej specyfiki, ten typ oceny wykorzystują coraz bardziej popularne kursy MOOC
** 
zasadę wprowadziłam zarówno w odniesieniu do prac indywidualnych, jak i zespołowych

Data dodania: 28.11.2012

Komentarze do wpisu:

Witam Panią Pani Doktor!

Z wielką ciekawością i satysfakcją z faktu iż ja też pomyślałam, nie czytając wcześniej Pani tekstu, o eksperymencie przyjmowania informacji zwrotnej na temat autorskich prac studentów e-learnigu.

Ciekawi mnie jednak jedna sprawa - co dalej z tą wiedzą?
Jak Pani podeszła do sprawy wpływu emocji na tworzenie się blokad w kwestii przyjmowania informacji zwrotnej?
Czy konstruktywna informacja zwrotna jest pomocna w "przeskakiwaniu" blokad emocjonalnych?


Uprzejmie proszę o kontakt na adres paradowskasylwia@tlen.pl

Pozdrawiam
Czytelnik i uczeń AHE Łódź system e-learningowy zdający dyplom licencjacki w roku 2013 w marcu

Pani Sylwio,

dziękuję za komentarz do mojego wpisu. Jego temat uważam za ważny, nie tylko w kontekście dydaktyki. Poza tym, moją intencją podczas formułowania wpisów jest, każdorazowo, rozpoczęcie dyskusji i cieszy mnie, jeżeli takowe się pojawiają :)

Postaram się odpowiedzieć na Pani pytania.

Pytanie 1: Co dalej z tą wiedzą?
Z punktu widzenia osoby projektującej i prowadzącej zajęcia dydaktyczne (czy to w formie stacjonarnej, czy zdalnej), jak napisałam w tekście - warto wprowadzać i modelować (a więc pokazywać jak zrobić to poprawnie) ten rodzaj aktywności. Wzajemna informacja zwrotna ma bowiem wartość zarówno merytoryczną (i nie zgadzam się z głosami, iż ocena uczącego się - jako niefachowca - nie ma takiej wartości), jak i motywacyjną (z moich obserwacji wynika, że silną). Kształcenie na odległość, jego narzędzia, dają duże możliwości jeżeli chodzi o organizację informacji zwrotnej typu peer-review w trakcie trwania procesu dydaktycznego.

Pytanie 2 i 3:
Jak Pani podeszła do sprawy wpływu emocji na tworzenie się blokad w kwestii przyjmowania informacji zwrotnej? Czy konstruktywna informacja zwrotna jest pomocna w "przeskakiwaniu" blokad emocjonalnych?

Temat na dłuższą dyskusję. Przede wszystkim musiałybyśmy zdefiniować termin "blokady" i "blokady emocjonalnej". Ale odpowiem tak (jak uczy psychologia;): nie jest tajemnicą, iż emocje grają dużą rolę w procesie przyjmowania informacji zwrotnej, ponieważ dotyka on naszej chyba najważniejszej "wartości" wewnętrznej - poczucia własnej wartości. Zatem w sytuacji, kiedy obawiamy się, że informacja zwrotna naruszy je (a mając niskie poczucie własnej wartości tego właśnie się obawiamy, projektując przekonania na swój temat na otoczenie), boimy się jej i możemy reagować na nią obronnie, zniekształcając lub nawet odrzucając otrzymane informacje.

Konstruktywnie sformułowana informacja zwrotna nie tyle jest pomocna w "przeskakiwaniu" blokad emocjonalnych, co zmniejsza prawdopodobieństwo odrzucenia informacji, które do nas docierają. Jako że nie jesteśmy przyzwyczajeni do otrzymywania informacji zwrotnej (świadomie i bezpośrednio przekazywanej) od współuczestników procesu dydaktycznego, to nasze obawy w tym względzie mogą być duże. Ale systematyczne i umiejętne wprowadzanie informacji peer-review do procesu dydaktycznego pozwala, po pierwsze, na uczenie się jej formułowania, zaś po drugie - "przyzwyczaja" uczniów do jej otrzymywania. Początkowy lęk powinien zatem maleć, pojawia się przyjemność wynikająca z otrzymania pochwały, a uczeń zaczyna dostrzegać merytoryczne korzyści tego typu informacji.

Mam nadzieję, że odpowiedziałam na Pani pytania :)
A może ktoś z czytelników ma ochotę wypowiedzieć się w temacie? Zapraszam...

i pozdrawiam,
Dorota Kwiatkowska

Skoro Pani pytała, zapytam i ja:)
Ciekawi mnie jakie są Pani, jako osoby uczącej się (w systemie e-learningowym), odczucia i refleksje na temat wartości tego typu informacji zwrotnych, peer-review? Czy miały one wartość merytoryczną, motywującą?
DK

W odpowiedzi na Pani pytanie: "(...)Ciekawi mnie jakie są Pani, jako osoby uczącej się (w systemie e-learningowym), odczucia i refleksje na temat wartości tego typu informacji zwrotnych, peer-review? Czy miały one wartość merytoryczną, motywującą?
DK"

Moje doświadczenia jako studentki w zakresie przekazywania informacji zwrotnej związane są z tym, iż moje wypowiedzi na platformie e-learningowej najczęściej opatrywane były przez niektóre, niezwykle ambitne koleżanki, negatywną informacją zwrotną. Dlatego też pewnie doświadczałam mnóstwa negatywnych emocji, bowiem niejednokrotnie w negatywnym feedbacku brakowało konkretnych wskazówek, co według osoby oceniającej warte by było zastanowienia. Wypowiedzi negatywne dotyczyły natomiast subiektywnej oceny lub określenia to mi się podoba, a to nie.

Na studiach pedagogicznych mieliśmy tylko zajawkę konstruktywnej informacji zwrotnej na przedmiocie Warsztaty Umiejętności Pedagogicznych - komunikacja w sytuacji pomagania.

Niestety nie było zajęć praktycznych wdrażania umiejętnego stosowania kanapkowego feedbacku, tylko wspomniano o tym, że to jest.

Na tych samych zajęciach doszło, z powodu zbyt dużej intensywności wprowadzanych krótkoterminowych zadań przez prowadzącą, doszło do jawnego konfliktu między studentkami a dydaktykiem.

Nie pomogły apele dydaktyka, by posługiwać się konstruktywną informacją zwrotną. Nie pomogły też prośby studentek o zmniejszenie częstotliwości wprowadzanych na platformę zadań do wykonania.

Była to niezwykle nieprzyjemna quasi komunikacja.

I dokładnie to wydarzenie i dokładnie z częstotliwości co semestr pojawiania się negatywnej informacji zwrotnej w związku z moimi rozwiązaniami do obowiązkowych zadań - stało się przyczynkiem do głębszego zastanowienia się nad tym:

- co wywołuje emocje negatywne w pracy na platformie;?
- w jakich sytuacjach te emocje powodują pojawienie się negatywnej i często agresywnej informacji zwrotnej?;
- czy możliwe jest kształtowanie dystansu wobec negatywnej informacji zwrotnej u osoby dorosłej?;
- czy możliwe jest kształtowanie w sposób praktyczny umiejętności konstruowania kreatywnej informacji zwrotnej?


Jak dla mnie - potrzeba wzajemnego przekazywania informacji zwrotnych nie podlega dyskusji, jednak należy mocno zastanowić się nad tym, jak formułować i przekazywać negatywną informację zwrotną skoro jak wykazały Pani badania, to właśnie największy lęk i blokady emocjonalne pojawiają się kiedy przychodzi nam przyjąć negatywny feedback.

Prawda?

Pozdrawiam serdecznie

Paradowska Sylwia

Pani Sylwio, bardzo dziękuję za odpowiedź na moje pytanie. Pani relacja potwierdza moje przemyślenia:
- uczący się nie posiadają często umiejętności przekazywania konstruktywnej informacji zwrotnej,
- informacja zwrotna może być, jak widać, narzędziem osiągania indywidualnych celów przez osoby uczące się, np. "zaistnienia" w grupie, jeżeli dydaktyk nie będzie miał pomysłu na to, jak pokierować nią (i procesem grupowym) konstruktywnie; moim zdaniem najlepszy jest sposób najprostszy ? punkty przyznawane za konstruktywną informację, za inną ? ich brak :)
- przyszli nauczyciele i pedagodzy nie zawsze mają gdzie nauczyć się formułowania informacji zwrotnej ? jest ona jednym z punktów programu dydaktycznego, na który ? jak to bywa ? nie możemy poświęcić zbyt wiele czasu (i ćwiczeń),
- zatem szkolenia w tym zakresie są zasadne, chociaż ja osobiście uważam, że najlepsze efekty przynosi nie ?kurs z przekazywania informacji zwrotnej?, ale wprowadzenie tego elementu do procesu dydaktycznego, konsekwentne i systematyczne ? nie tylko do tego, którego odbiorcą są nauczyciele?

Pozdrawiam serdecznie :)

Pani Doktor,

Nawiązując do naszej rozmowy w trakcie konferencji "Rozwój e-edukacji w ekonomicznym szkolnictwie wyższym" chciałabym podziękować za niezwykle praktyczne artykuły z zakresu metodyki e-learningu. Tego bardzo brakuje na polskim rynku. Można znaleźć opracowania, które ujmują różne zjawiska dotyczące zdalnego nauczania z metapoziomu lub poradniki przekazujące wskazówki dla projektujących i prowadzących kursy. Są one wszystkie pozbawione lub zawierają śladowe ilości konkretnych przykładów, a tylko one pozwalają zrozumieć dobrze dane zagadnienia i inspirują do działań podnoszących motywację uczestników i efektywność przeprowadzanych kursów.

Pozdrawiam serdecznie,

Małgorzata Chojecka
Koordynator Internetowego Uniwersytetu Mądrego Wychowania Fundacji ABC XX! "Cała Polska czyta dzieciom"

Pani Małgorzato,
bardzo dziękuję za cenną informację zwrotną - sformułowaną tutaj oraz podczas rozmowy w trakcie konferencji. Potwierdza ona moje intuicje dotyczące kierunku, w jakim powinnam rozwijać swoje działania na tym blogu; nie ukrywam też, że bardzo lubię zagadnienia metodyczne i praktyczne.
Mam nadzieję, że moje kolejne wpisy okażą się równie przydatne i interesujące.
Łączę pozdrowienia i serdeczne życzenia noworoczne :)