AAA

Walidacja kompetencji społecznych w kontekście Krajowych Ram Kwalifikacji dla Szkolnictwa Wyższego1

Hanna Solarczyk-Szwec

Wprowadzenie

Artykuł dotyczy specyfiki pomiaru, oceny i walidacji kompetencji społecznych o charakterze adaptacyjnym i emancypacyjno-krytycznym. W opracowaniu omówiono trudności związane z walidacją wyróżnionych rodzajów kompetencji, które wynikają z ontologicznych i epistemologicznych założeń dotyczących ich istoty, a także celu oraz sposobu ich badania. Ponadto wskazano trzy podejścia do badania, ewaluacji i walidacji kompetencji społecznych: 1. opis kompetencji według uznanych międzynarodowych standardów i programów oraz opis kwalifikacji zawodowych na zasadzie list sprawdzających; 2. wystandaryzowane pomiary: testy - własnej skuteczności, sieci współpracy i na inteligencję oraz kwestionariusze: samooceny i/lub oceny eksperckiej pożądanych w danej branży lub zawodzie indywidualnych cech osobowościowych studenta; 3. portfolia kompetencyjne.

Jako przykłady wymienionych podejść scharakteryzowano: Program OECD Międzynarodowej Oceny Kompetencji Dorosłych (PIAAC), Assessment Center i Development Center oraz portfolio kompetencyjne.

Walidacja efektów kształcenia oznacza rozpoznawanie, ocenianie, określanie wartości i uznawanie efektów uczenia się formalnego, pozaformalnego i nieformalnego. Jest to działanie mające na celu potwierdzenie i uznanie w sposób udokumentowany oraz zgodny z założeniami, że stosowane procedury i procesy prowadzą do zaplanowanych wyników2. Europejskie doświadczenia wskazują, że uznawanie kwalifikacji i kompetencji możemy podzielić na dwa nurty:

  • społeczny: uznawanie wartości kompetencji przez organizatorów przedsięwzięć gospodarczych, społecznych i oświatowych,
  • formalny: nadawanie kompetencjom statusu oficjalnego poprzez przyznanie dyplomu, zaświadczenia, certyfikatu (potwierdzenie), akumulację i transfer punktów (częściowe potwierdzenie) oraz walidację3.
W kontekście edukacji przez całe życie, w której podkreśla się synergię uczenia się formalnego, pozaformalnego i nieformalnego, kwestia uznawania wiedzy, umiejętności i kompetencji społecznych zdobytych różnymi drogami nabiera szczególnego znaczenia, ponieważ uzasadnia podejmowanie wysiłków edukacyjnych nie tylko w systemie szkolnym, ale także poza nim i na różnych etapach życia, oraz motywuje do uczenia się. Z polityczno-oświatowego punktu widzenia formalne uznanie efektów kształcenia pozaformalnego i nieformalnego pozwala zaoszczędzić czas i środki oraz poszerza możliwości jednostki na rynku pracy, co potwierdzają doświadczenia francuskie i brytyjskie. Mając na uwadze korzyści osobiste i społeczne, należy dążyć do stworzenia systemu walidacji efektów kształcenia niezależnie od tego, kiedy, gdzie i jak takie efekty zostały osiągnięte. Tego rodzaju działania wspiera od lat 90. Unia Europejska, intensyfikując je aktualnie poprzez wdrażanie Europejskich Ram Kwalifikacji dla uczenia się przez całe życie. Zasadniczo powodzenie projektu praktycznego wdrożenia idei uczenia się przez całe życie zależy od stworzenia sprawnego i powszechnego systemu walidacji efektów uczenia się pozaformalnego oraz nieformalnego, a także jego zastosowania w edukacji formalnej.

W dotychczasowej praktyce i dyskusji o walidacji efektów kształcenia dominował polityczno-oświatowy (harmonizacja i mobilność) i ekonomiczny (w kontekście rynku pracy oraz korzyści i oszczędności) punkt widzenia. Dopiero od niedawana znaczenie zyskuje perspektywa pedagogiczna, tj. pytanie o metody dokumentowania, pomiaru, oceny nie tylko wiedzy i umiejętności, ale także kompetencji społecznych (miękkich). Dodatkowo podkreśla się w tej nowej odsłonie dyskusji nad kompetencjami ich podmiotowy, a zatem związany nie tylko z zawodem, wymiar.

Specyfika oceny i walidacji adaptacyjnych i emancypacyjno-krytycznych kompetencji społecznych

Zgodnie z metodologią Europejskich Ram Kwalifikacji przedmiotem walidacji muszą być trzy kategorie efektów kształcenia: wiedza, umiejętności oraz kompetencje społeczne. Walidacja wiedzy i umiejętności z pedagogicznego punktu widzenia nie stanowi problemu. Inaczej jest w przypadku kompetencji społecznych, które nie były dotąd w edukacji ani przedmiotem szczególnej troski, ani też odrębnej oceny4. Badania na temat kompetencji społecznych są w Polsce nadal sporadyczne5. Tymczasem jest to pojęcie bardzo popularne, stosowane (nie zawsze słusznie i z odpowiednim namysłem) w wielu kontekstach oraz w odniesieniu do różnego typu dyspozycji, sprawności, zdolności czy umiejętności. Trudno też znaleźć jedną powszechnie obowiązującą definicję kompetencji, co dodatkowo komplikuje dyskusję na ten temat. To wszystko sprawia, że kompetencje zaliczyć można w dyskursie społeczno-politycznym do pojęć pustych, ale znaczących. Dotyczy to także kompetencji społecznych, które w kontekście KRK zdobyły szczególne znaczenie. Jednoznaczne odróżnienie kompetencji społecznych od kompetencji, np. osobistych, emocjonalnych, obywatelskich czy interpersonalnych, nie jest możliwe. Należy zatem traktować pojęcie kompetencji społecznych jako kategorię zbiorczą dla wielu pokrewnych typów kompetencji, a ich wyróżnienie w Krajowych Ramach Kwalifikacji to zabieg służący zwróceniu uwagi na szczególne potrzeby Polski i Polaków tym zakresie. Można zatem przyjąć, że zastosowane w artykule pojęcie kompetencji nie odnosi się tylko do kompetencji społecznych, ale kompetencji w ogóle, w tym szczególnie kompetencji miękkich.

Pedagogiczna interpretacja kompetencji6 przynosi ważne rozróżnienie kompetencji na adaptacyjne i emancypacyjno-krytyczne, co ma dalsze znaczące konsekwencje dla praktyki ich rozwijania, m.in. w szkolnictwie wyższym7. Różnice w interpretacji kompetencji społecznych w ujęciu adaptacyjnym oraz emancypacyjno-krytycznym (tab. 1) skutkują odmienną metodologią ich oceny oraz walidacji.

Tabela 1. Kompetencje a adaptacyjny i transgresyjny potencjał podmiotu

Kryterium porównawcze Rodzaj kompetencji
Adaptacyjny potencjał podmiotu - kompetencje adaptacyjne Transgresyjny potencjał podmiotu - kompetencje emancypacyjne i krytyczne
Zaplecze teoretyczne Behawioryzm Strukturalizm
Otoczenie Statyczne Dynamiczne
Specyfika dostosowanie działania do warunków wyznaczonych przez charakter otoczenia generowane przez jednostkę działania są podatne na twórczą modyfikację w wyniku interpretacji
Zaangażowanie podmiotu Techniczne: stosowanie sprawności, traktowanej jako wyćwiczona umiejętność działania określonego typu Emancypacyjne i krytyczne: zdolność do takich form angażowania się podmiotu w świat zjawisk społecznych, które obejmują aspekt jego kreacji przez podmiot;
Charakter działania Praktyczny lub poznawczy Twórczy - towarzyszący nabywaniu i wykorzystywaniu kompetencji; zdolność krytycznego myślenia i zmiany wzorców działania
Cel Efektywne przekształcanie rzeczywistości Przekształcanie kulturowych wzorów aktywności
Struktura kompetencji Wiedza i umiejętności oraz motywacja i samoocena Głęboko zinterioryzowane struktury poznawcze, tkwiące u podstaw zachowań oraz dyspozycji podmiotu; poziomy: biologiczny, adaptacyjny
Rozwój kompetencji Trening w celu osiągnięcia biegłości porównywalnej ze wzorcem; recepcja treści kulturowego przekazu Zdolność do ciągłej reorganizacji struktury kompetencji; aktywność podmiotu w konstruowaniu własnego poznania
Ocena kompetencji Obserwowanie zewnętrznych zachowań (schematów, konwencji) przy przyjęciu określonych kryteriów; pomiar ilościowy Utrudniona ze względu na unikalność doświadczeń, które implikują niepowtarzalność kompetencji, możliwa na podstawie oceny wytworów bądź skutków działań
Krytyka Wąski zakres, zamknięty proces, blokuje niezależność myślenia i działania Szeroki zakres, trudności oceny

Źródło: opracowanie własne na podstawie: A. Męczkowska, Kompetencje, [w:] Encyklopedia pedagogiczna XXI w., t. II, Wydawnictwo „Żak”, Warszawa 2003, s. 693-696

O ile w przypadku kompetencji społecznych w ujęciu adaptacyjnym przedmiotem oceny są wiedza, umiejętności oraz postawy i wartości, które przejawiają się w zewnętrznie obserwowalnych zachowaniach (schematach i konwencjach) - np. umiejętności komunikowania się, dyskutowania, asertywności czy współpracy w zespole - o tyle w przypadku kompetencji emancypacyjno-krytycznych chodzi o głęboko zinterioryzowane struktury poznawcze (sposób myślenia i interpretowania) tkwiące u podstaw zachowań oraz predyspozycji, jak i o zdolność jednostki do ich ciągłej reorganizacji, co implikuje niepowtarzalność kompetencji.

W ocenie kompetencji społecznych o charakterze adaptacyjnym przyjmuje się zestaw wskaźników, na podstawie których można wnioskować o interesujących nas w ramach badanej kompetencji zachowaniach oraz o stopniu zaawansowania w dążeniu do wyznaczonego standardu (modelu kompetencji). Wykorzystuje tu się narzędzia pomiaru ilościowego oparte na deklaracji (samoocena) i/lub narzędzia gwarantujące większą obiektywność (testy, wywiady, obserwację skategoryzowaną), które są powszechnie stosowane w Assessment Center i Development Center (centrum oceny i centrum rozwoju). Do oceny kompetencji społecznych o charakterze adaptacyjnym wykorzystuje się także listy sprawdzające kompetencji oczekiwanych w branży lub na rynku pracy.

W opinii M. Czerepaniak-Walczak kompetencje emancypacyjno-krytyczne można oceniać na podstawie tego, co dana jednostka mówi (kompetencje komunikacyjne), tj. na podstawie świadomej i wolnej od ograniczeń intelektualnych, obyczajowych, społecznych itp. ekspresji (werbalnej i niewerbalnej) własnych stanów emocjonalnych i intelektualnych i rozumienia innych, oraz tego, co jednostka robi (kompetencje instrumentalne), tj. czy podejmuje samodzielne działania prowadzące do twórczej zmiany (przewaga transgresji nad dostosowaniem) i jest gotowa do ponoszenia odpowiedzialności za wykonanie zadania8. W przypadku kompetencji komunikacyjnych formy ekspresji pozasłownej: muzyka, sztuka (np. graffiti), ruch (np. taniec, manifestacja) czy też twórczość literacka, poetycka, dramatyczna mogą stanowić odpowiedź na przymus i ograniczenia, które dotyczą nie tylko twórców tych działań, ale także aktywnych ich odbiorców, tj. uczestników życia kulturalnego oraz społecznego, politycznego9.

Emancypacja w działaniu przejawia się w innowacyjności, racjonalności emancypacyjnej (myśleniu dywergencyjnym) oraz odwadze działania, co sprawia, że pełniona przez daną osobę rola może być przez nią zmieniona tak, aby umożliwiała osiąganie zamierzonych wartości czy celów i doświadczanie wolności. Zmiana może ujawniać się w:
  • odkrywaniu alternatywnych rozwiązań i ich odważnym stosowaniu,
  • modyfikowaniu algorytmu wykonywanego zadania poprzez zastosowanie nowych odkryć nauki i praktyki, także własnych rozstrzygnięć innowacyjnych,
  • rozszerzeniu zasięgu więzi kooperacyjnych, kręgu odbiorców wyników zadania albo rozszerzeniu obszaru poddawanego przekształceniom,
  • podejmowaniu nowych dla jednostki, a nawet zupełnie nieznanych dotychczas ciągów czynności prowadzących do określonych rezultatów10.
Wskazanie form wyrażania i niektórych przejawów emancypacyjno-krytycznych dyspozycji dowodzi, że możliwe jest obranie przykładowych obserwowalnych wskaźników tych kompetencji i ich pomiar. Ze względu na szeroki zakres oraz indywidualny charakter tego typu kompetencji bardziej adekwatne są narzędzia oceny oparte na jakościowej metodologii badań. Znając jej ograniczenia, stosuje się współcześnie coraz częściej takie rozwiązania, w których na etapie rozpoznawania kompetencji wykorzystuje się metodologię jakościową, by na tej podstawie zbudować narzędzie pomiaru o charakterze ilościowym. Przykładem tego typu pomiaru są badania przeprowadzone przez P.M.B. King i K.S. Kitchener w ramach prac na teorią krytycznego namysłu, w których zastosowano tzw. wywiad namysłu krytycznego (Reflective Judgement Interview). Jest on zestawem otwartych pytań dotyczących problemów dywergencyjnych - tj. zawierających kontrowersyjne i niejasno sformułowane zagadnienia praktyczno-etyczne - oraz pytań zamkniętych. Na tej podstawie powstało także ilościowe narzędzie badawcze: California Critical Thinking Disposition Inventory (CCTDI) - kwestionariusz zawierający 75 stwierdzeń, do których badani odnoszą się z wykorzystaniem sześciostopniowej skali Likerta11. Duże walory w ocenie kompetencji o charakterze emancypacyjno-krytycznym ma też portfolio kompetencyjne - narzędzie dokumentowania, (samo)oceny oraz oceny zewnętrznej.

Podejścia do pomiaru kompetencji społecznych i wybrane narzędzia

Z kwerendy literatury wyłaniają się trzy podejścia do pomiaru, ewaluacji i walidacji kompetencji, w tym kompetencji społecznych:

  1. opis kompetencji według uznanych międzynarodowych standardów i programów oraz kwalifikacji zawodowych na zasadzie list sprawdzających, np. badania PIAAC;
  2. wystandaryzowane pomiary: testy własnej skuteczności, sieci współpracy, na inteligencję i kwestionariusze: samooceny i/lub oceny eksperckiej pożądanych w danej branży lub zawodzie indywidualnych cech osobowościowych studenta, np. Assessment Center;
  3. portfolia kompetencyjne.
Stosowanie pierwszego podejścia przynosi problemy związane z koniecznością skorzystania z uniwersalnego systemu odniesień do kompetencji i z małym prawdopodobieństwem odnalezienia w nim cenionych lokalnie kompetencji12. Zarówno pierwsze, jak i drugie podejście osadzone jest w typowo racjonalistycznym paradygmacie transmisji gotowych wzorców kompetencyjnych uczących się i ich zademonstrowania w obiektywnie obserwowalnym zachowaniu (np. wykonaniu określonego zadania). Pomija się więc interesujący nas aspekt „internalizacji” wartości, procesów rozumienia i motywacji studenta.

Drugie podejście jest do tej pory najszerzej stosowane, zarówno w edukacji, jak i przez pracodawców, ale zaufanie do niego wśród specjalistów HR odpowiedzialnych za nabór i późniejszy sukces pracowników spada wraz z pojawianiem się nowych doniesień badaczy, które wskazują, że stopień predykatywności samooceny13, testów inteligencji14 i osobowości15 jest niewielki. W Polsce dysponujemy Kwestionariuszem Kompetencji Społecznych16, ale można wobec niego zgłosić te same zarzuty, poza tym może być on stosowany w pełni tylko przez psychologów. Z nadzieją patrzy się na analizy sieci współpracy, czyli kapitału społecznego, który przyszli pracownicy mogą zaoferować swoim organizacjom, zwłaszcza w kontekście kontaktów zdobywanych w trakcie międzynarodowych praktyk i wolontariatu17.

Podejście najbardziej obiecujące i jednocześnie umożliwiające łączenie elementów dwóch poprzednich to portfolia kompetencyjne. Udowadnianie kompetencji polega w tym przypadku na systematycznym gromadzeniu różnych form zapisu wykonanych zadań i projektów zakładających rozwój kompetencji oraz eksperckiej ocenie poziomu ich wykonania i szczegółowej autorefleksji dotyczącej osobistych motywów, uznawanych wartości, dostrzeganych sensów oraz satysfakcji z wykonanej pracy. Eseje zawierające refleksje uczących się poddaje się analizie fenomenologicznej oraz kodowaniu, by zbudować teorię ugruntowaną na temat kompetencji. Studenci traktują eseje i ich analizę przez mentorów jako punkty odniesienia w mapowaniu swoich kompetencji społecznych. Najbardziej zaawansowaną dobrą praktyką wykorzystywania portfolio do walidacji kompetencji społecznych na poziomie akademickim jest competence explorer, model od kilku lat stosowany w krajach niemieckojęzycznych. Został on wypracowany w dużej mierze dzięki współpracy z trzecim sektorem, na podstawie analiz doświadczeń wolontariuszy podkreślających doniosłe znaczenie refleksji i rozumienia procesów uczenia się społecznego w nabywaniu kompetencji nie w liniowy sposób, lecz cyklicznie, w cyklu: przygotowanie - doświadczenie - refleksja - trening - doświadczenie - refleksja itd.18

Program OECD Międzynarodowej Oceny Kompetencji Dorosłych (PIAAC)

Przykładem pierwszego podejścia do oceny i walidacji kompetencji jest program OECD Międzynarodowej Oceny Kompetencji Dorosłych (The OECD Programme for the International Assesment of Adult Competencies - PIAAC), który koncentruje się na badaniu związków pomiędzy wykształceniem, kompetencjami oraz sytuacją na rynku pracy. Jego celem jest ocena kluczowych kompetencji, takich jak: czytanie i pisanie, liczenie oraz zdolności do rozwiązywania problemów w środowisku bogatych technologii, w pracy i w domu, a także odniesienie tych kompetencji do społecznej i gospodarczej kondycji jednostek oraz narodów. Zebrane dane zostaną wykorzystane do oceny i doskonalenia systemów edukacji oraz porównywania poziomu badanych kompetencji między krajami uczestniczącymi w programie badawczym. Badania PIAAC wpisują się w nurt najważniejszych międzynarodowych badań osiągnięć różnych grup wiekowych, do których zalicza się także PISA (badanie kompetencji piętnastolatków) czy TALIS (badanie kompetencji nauczycieli).

PIAAC kontynuuje w szerszej skali wcześniejsze międzynarodowe badania kompetencji dorosłych, które były prowadzone od połowy lat 90. XX w., najpierw trzykrotnie w 22 krajach w ramach programu International Adult Literacy Survey (IALS), a następnie w roku 2002 i 2006 w ramach programu Adult Literacy and Life Skills (ALL) Survey w 11 krajach i jednym stanie USA. To pozwala porównać poziom alfabetyzacji w niektórych krajach na przestrzeni nawet 13-17 lat.

W badaniu PIAAC wzięła udział także Polska, w ramach projektu systemowego Entuzjaści edukacji19 finansowanego ze środków Europejskiego Funduszu Społecznego UE. Badania PIAAC w Polce rozszerzono o trzy zagadnienia: efektywność aktywności edukacyjnej młodych osób z punktu widzenia kompetencji przydatnych na rynku pracy, związki pomiędzy udokumentowanymi aktywnościami edukacyjnymi (z naciskiem na studia wyższe) i/lub zawodowymi ludzi młodych a poziomem ich kompetencji i sytuacją na rynku pracy oraz ekonomiczną dostępność tych aktywności edukacyjnych, które dają najwyższy zwrot na rynku pracy wśród młodych osób. Badania przeprowadzono na losowo dobranej populacji wśród osób w wieku 16-65 lat (wielkość próby: 9366 osoby), na wsi i w miastach o różnej wielkości.

PIAAC obejmuje pomiar kompetencji ludzi dorosłych, które są potrzebne w epoce informatycznej, tj.:

  1. czytania, rozumienia i wykorzystywania informacji z tekstów pisanych (literacy): zaangażowania w czytelnictwo, rozumienia i oceny informacji zawartych w tekstach pisanych oraz wykorzystania tych informacji do udziału w życiu społecznym, do osiągania swoich celów oraz rozwoju swojej wiedzy i potencjału,
  2. liczenia (numeracy): zdolności użycia, interpretacji i analizy pojęć matematycznych oraz informacji wyrażonej językiem matematyki, w celu podejmowania wyzwań matematycznych występujących w codziennym życiu osób dorosłych i radzenia sobie z tymi wyzwaniami;
  3. rozwiązywania problemów w środowisku bogatym w technologie (problem solving in technology-rich environment): dotyczy wykorzystania technologii cyfrowych, narzędzi komunikacji cyfrowej oraz sieci do pozyskiwania i analizy informacji, porozumiewania się z innymi oraz wykonywania praktycznych zadań, zdolności do rozwiązywania problemów pojawiających się w kontekście prywatnym, zawodowym i społecznym poprzez odpowiednie wyszukiwanie oraz wykorzystywanie informacji uzyskanych za pomocą komputera oraz internetu.
Badanie PIAAC będzie dostarczać w cyklu dziesięcioletnim istotnych danych na temat międzynarodowego kapitału ludzkiego i różnych aspektów kompetencji osób dorosłych. Ma też ambitne cele analityczne - nie tylko mierzy poziom kompetencji, ale również stara się ocenić, w jaki sposób są one związane z sukcesem jednostek i narodów w kontekście pracy zawodowej. Do zalet programu badania kompetencji dorosłych PIAAC należą pomiar różnych kompetencji oraz związek z wcześniejszymi badaniami. W PIAAC krytykuje się złożoność metodologii, czas trwania wywiadu, brak informacji o pracodawcach oraz pobieżny pomiar kompetencji miękkich.

Wyniki pierwszego badania PIAAC zostały opublikowane jesienią 2013 roku. Według nich przeciętnie młodzi Polacy (w wieku 19-26 lat) osiągają wyniki na poziomie rówieśników z krajów OECD. W obrębie badanej w Polsce grupy zauważyć można duże różnice zależne od typu szkoły, miejsca zamieszkania, wykształcenia rodziców oraz dotyczące poszczególnych kompetencji, np. tylko 38 proc. młodych Polaków posiada wysoki poziom umiejętności wykorzystywania technologii informacyjno-komunikacyjnych wobec średniej 51 proc. w krajach OECD. Z perspektywy ostatnich 17 lat przyrost kompetencji w Polsce był największy wśród badanych krajów. Jeśli wziąć pod uwagę wyniki całej badanej populacji Polaków, poziom ich kompetencji jest niższy niż przeciętna w badanych krajach OECD o 6 punktów (267 pkt. wobec 273 pkt.) w dziedzinie rozumienia tekstu i o 9 punktów (260 pkt. wobec 269 pkt.) w dziedzinie rozumowania matematycznego20. Wskazane różnice punktowe odpowiadają kilku latom nauki w szkole.

Assessment Center i Development Center

Assessment Center i Development Center (centrum oceny i centrum rozwoju) jako metody oceny i pomiaru kompetencji reprezentują drugie podejście do badania, pomiaru oraz oceny i walidacji kompetencji. Oznaczają wielowymiarowy proces oceny osoby lub grupy osób (rys. 1). Decyzje o wynikach oceny podejmowane są w wyniku zastosowania różnych narzędzi pomiaru oraz dyskusji wszystkich oceniających, co powoduje, że strategii tej przypisuje się - w porównaniu z innymi metodami, np. sondażem diagnostycznym (test, ankieta) - większy obiektywizm.

Rysunek 1. Wielowymiarowość Assessment Center

Źródło: opracowanie własne

Assessment Center jest coraz powszechniej stosowaną w naszym kraju metodą, wykorzystywaną przez biura karier czy agencje HR jako narzędzie oceny kompetencji osób uczących się zawodu, szczególnie na poziomie studiów wyższych, oraz kandydatów do pracy lub pracowników, a także planowania ich rozwoju.

Metoda AC polega na zaplanowaniu serii indywidualnych oraz grupowych zadań, ćwiczeń i testów zbliżonych do zadań na przyszłym lub aktualnym stanowisku pracy. Punkt wyjścia do opracowania ćwiczeń stanowi określenie, jakie kompetencje są najbardziej odpowiednie do właściwego wykonywania obowiązków21. Narzędzia wykorzystywane do badania kompetencji bazują na metodologii badań psychologicznych - są to najczęściej wywiad kompetencyjny i testy kompetencyjne oraz psychologiczne. Dzięki nim wyodrębnia się określone zachowania świadczące o posiadaniu danej kompetencji (lub jej braku), a następnie przyporządkowuje je do określonego poziomu danej kompetencji. W ten sposób specjaliści zajmujący się rekrutacją ustalają, czy kandydat dysponuje daną kompetencją w wystarczającym stopniu, aby sprostać obowiązkom na określonym stanowisku, np. czy takie kompetencje jak orientacja na wyniki i komunikatywność są wystarczająco rozwinięte, aby zostać handlowcem22.

W trakcie sesji AC jej uczestnik ma możliwość poznania swoich mocnych stron w obrębie ocenianych kompetencji (zgodnie z przyjętym modelem kompetencji), jak i obszarów wymagających dalszego doskonalenia. Raport z sesji AC powinien zawierać także ocenę działania w trakcie badania oraz wskazówki rozwojowe i rekomendacje zawodowe. W raporcie znajdują się zwykle ocena opisowa oraz wykresy prezentujące badane kompetencje. Wyniki AC wykorzystywane są też do planowania szkoleń czy innych działań rozwojowych dla uczących się oraz pracowników, co określane jest jako Development Center (ośrodek rozwoju lub centrum rozwoju). Zestawienie cech Assessment Center oraz Development Center i różnic pomiędzy nimi zawiera tabela 2.

Tabela 2. Assessment Center i Development Center - porównanie

Assessment Center Development Center
Ocena potencjału kompetencyjnego uczestników procesu, ich mocnych i słabych stron
Wyłonienie w procesie rekrutacji i selekcji osób o najwyższym potencjale kompetencyjnym Identyfikacja potrzeb rozwojowych w ocenianej grupie
Wyłonienie w procesie rekrutacji i selekcji osób najlepiej dopasowanych do stanowiska Wsparcie w podejmowaniu decyzji dotyczących ścieżek rozwoju uczestników procesu
Uzyskanie przez każdego uczestnika informacji zwrotnej na temat własnego potencjału kompetencyjnego

Źródło: opracowanie własne

Jak zauważają H. Steinmann i G. Schreögg: Assessment Center różni się zasadniczo od tradycyjnych źródeł informacji. W tradycyjnych metodach testowych przełożony lub obserwator mogą tylko myślowo porównać wymagania na wakującym stanowisku ze zdolnościami i potencjałem kandydata. Na podstawie zachowań zaprezentowanych w trakcie sesji Assessment Centre można wyprowadzić lepsze wnioski co do przydatności kandydata na obsadzane stanowisko. Po każdym ćwiczeniu sprawdzana jest, przed wydaniem werdyktu, zgodność opinii poszczególnych oceniających. [...] Omawianej metodzie przypisuje się - w porównaniu z pozostałymi - większy obiektywizm, gdyż w jednym ośrodku znajdują zastosowanie jednocześnie bardzo różne metody diagnostyczne23.

Assessment Center i Development Center są wartościowymi, choć czasochłonnymi metodami oceny kompetencji, selekcji kandydatów do pracy czy planowania ścieżki ich dalszego rozwoju. Wymagają od osób opracowujących zestaw zadań, ćwiczeń i testów doskonałego przygotowania merytorycznego, uwzględniania modelu kompetencji jako punktu odniesienia, znajomości specyfiki firmy oraz specyfiki obowiązków związanych z danym stanowiskiem pracy. Niezależnie od zastosowanych metod oceny jej końcowym etapem jest wskazanie mocnych i słabych stron (luki kompetencyjnej) ocenianego w kontekście przyjętego modelu kompetencji oraz - w przypadku Development Center - zaproponowanie ścieżki dalszego rozwoju.

Portfolio

Portfolio jest przykładem trzeciego podejścia w pomiarze i walidacji kompetencji społecznych, które można z powodzeniem wykorzystać do oceny tak adaptacyjnych, jak i emancypacyjno-krytycznych kompetencji społecznych. Jego zaletą jest łączenie samooceny z możliwością oceny zewnętrznej oraz oceny jakościowej z oceną odwołującą się do wybranego modelu kompetencji. Metoda ta zostanie przedstawiona na przykładzie badania kompetencji studentów kierunku biznes i administracja w trybie kształcenia na odległość na uniwersytecie w Oldenburgu24. Autorzy badania poszukiwali odpowiedzi na następujące pytania:

  1. Jak proces rozwoju kompetencji opisują studenci?
  2. Jakie kompetencje zostały udokumentowane w portfolio?
  3. Czy metoda portfolio oparta na refleksji studentów dotyczącej własnego procesu uczenia się może być podstawą oceny kompetencji studenta?
  4. Jaka jest użyteczność zastosowanego do interpretacji wyników badań modelu kompetencji V. Heysego i J. Erpenbecka?
Metoda portfolio włączona była w proces dydaktyczny typu blended learning. Przebieg kształcenia w ramach modułu obejmował pięć faz (rysunek 2). Funkcją portfolio była (samo)ocena procesu kształcenia.

Rysunek 2. Struktura modułu kształcenia z wykorzystaniem portfolio

Źródło: O. Zawacki-Richter, A. Hanft, E.M. Bäcker, dz.cyt., s. 4

Portfolio zdefiniowano jako podporządkowany celowi zbiór materiałów, które mają dokumentować wysiłki studenta, a także być podstawą (samo)ewaluacji, umożliwiając studentom oraz interesariuszom ogląd procesu dydaktycznego: celów, treści, metod korzyści oraz efektów uczenia się. Ocena z portfolio miała wagę 2/3 na egzaminie z modułu.

Do opisu i interpretacji kompetencji studentów wykorzystano model kompetencji V. Heysego i J. Erpenbecka25 (rys. 4), którzy wyróżnili cztery typy kompetencji: personalne (P), dotyczące aktywności (A), społeczno-komunikacyjne (S) oraz przedmiotowo-metodyczne (F), a także ich szczegółowe komponenty, których jest w sumie 64.

Rysunek 3. Model kompetencji V. Heysego i J. Erpenbecka

Źródło: O. Zawacki-Richter, A. Hanft, E.M. Bäcker, dz.cyt., s. 6

Refleksje studentów dotyczące projektu zostały zakodowane. Rezultatem tego działania były tematyczne struktury kompetencji każdego portfolio, ukazujące przyporządkowanie wyłonionych kompetencji do poszczególnych grup kompetencji zgodnie z modelem (rys. 4). W badaniu chodziło bowiem o to, aby uwidocznić i nazwać kompetencje, które prowadzą do pogodzenia indywidualnych celów kształcenia z pracą grupową i wynikami projektu. Stworzono także mapy kompetencji studentów, wykorzystując do tego celu charakterystykę ich działań, strategii, postaw specyficznych dla poszczególnych typów kompetencji (tab. 3).

Tabela 3. Charakterystyka kompetencji S, F, P i A

Kryteria porównawcze Typ kompetencji
S
kompetencje społeczne
F
kompetencje przedmiotowo-metodyczne
P
kompetencje osobiste
A
kompetencje do działania
Definicja kompetencji J. Erpenbecka i L. von Rosentiela Dyspozycja człowieka do komunikacji i współdziałania, zdolność do kreatywnej współpracy i dyskusji, dopasowania się do grupy i relacji, wspólnego planowania, formułowania zadań i celów Dyspozycja człowieka do rozwiązywania merytorycznych problemów samodzielnie i kreatywnie, z wykorzystaniem wiedzy, sprawności i umiejętności; co oznacza umiejętność metodycznego organizowania czynności, zadań oraz rozwiązań, a także umiejętność samodzielnego kreowania metod Dyspozycja człowieka do refleksji, samooceny, konstruowania produktywnych postaw, wartości i motywów, jak i rozwijania własnych zdolności, motywacji i osiągnięć, składających się na rozwój osobisty Dyspozycja człowieka do aktywnego i samodzielnego działania ukierunkowanego na realizację celów, zamierzeń i planów - dla siebie lub dla innych i z innymi, w zespole, przedsiębiorstwie, organizacji; ta dyspozycja obejmuje emocje, motywację, umiejętności i doświadczenia oraz kompetencje typu P i S, aby skutecznie realizować przyjęty plan działania
Przygotowanie do pracy w projekcie - - Duża odpowiedzialność za wykonanie zadania powoduje zainteresowanie modułem przed jego rozpoczęciem -
Cele dokształcania Droga do celu podporządkowana procesowi grupowemu; nie kładzie nacisku na osiągnięcie osobistych celów Sprostanie zadaniu merytorycznemu; osobisty cel: zdobyć wiedzę i wypróbować ją w praktyce Koncentracja na osiągnięciu celów osobistych Ściśle związane z praktyką
Nastawienie do projektu w trybie online Wyzwaniem jest praca w grupie a nie nad projektem Wyzwaniem jest sprostanie zadaniom postawionym w projekcie online Realizacja swojego głównego problemu zawodowego poprzedzona dokładną analizą planu i możliwości technicznych, by dopasować je do własnych oczekiwań Projekt online jest postrzegany jako innowacja i techniczne wyzwanie
Umiejętność rozwiązywania problemów Brak indywidualnych strategii rozwiązywania problemów; człowiek nie przejmuje inicjatywy, zachowuje się raczej obronnie i pasywnie Wiedza jest oparciem w rozwiązywaniu problemów Chętne korzystanie z pomocy moderatora, uskarżanie się szczególnie na trudności i oczekiwanie na natychmiastowe rozwiązanie; odpowiedzialność za komunikację przerzucana na innych Pojawiające się problemy techniczne są wyzwaniem
Motywacja do działania Członkostwo w grupie Zdobycie nowej wiedzy i umiejętności dotyczących zadania grupowego Zaspokojenie osobistych (zawodowych) potrzeb Bardzo wysoka przy dużej aktywności poza studiowanym kierunkiem
Rola i pozycja w grupie Kooperatywny członek grupy; „wszyscy za jednego, jeden za wszystkich” Nie wspomina o innych członkach grupy; pozycja fachowca w grupie („trybiku w maszynie”); odpowiedzialny za definiowanie tematu a nie utrzymanie komunikacji w grupie Pierwszy proponuje temat projektu, nie poddaje go dyskusji; wybiera sobie uczestników do realizacji tematu projektu, sam stawia się w centrum grupy, spychając na innych margines Aktywny i kolegialny członek grupy; ceni sobie równość członków grupy podział zadań zgodnie z kompetencjami
Prezentacja wyników pracy grupowej Ceni sobie ocenę pracy grupowej przez inne grupy; wyniki pracy grupowej pozostają na dalszym planie Duże obciążenie zadaniami w fazie realizacji projektu; duża odpowiedzialność za jakość efektów Podkreśla w portfolio, że mimo trudnej sytuacji jednego z członków grupy, wyniki projektu zostały zaprezentowane w terminie Okazja do zastosowania techniki online
Zamknięcie projektu (postfaza projektu) Wyżej ceni sobie ocenę pracy grupowej niż jej efekty, cieszy się z pracy w kolejnej grupie projektowej Grupa jako środek osiągnięcia celu; ma nadzieję na dalsze wsparcie online przy stosowaniu zdobytej wiedzy i umiejętności w praktyce Wyniki projektu wykorzystano w nowym projekcie; formułuje zalecenia wynikające z projektu i adresuje je do tutora Wysoka ocena rezultatów projektu, które w 100 proc. zostaną wykorzystane w praktyce zawodowej
Refleksja w portfolio Zaczyna się od rozdziału na temat fazy pracy grupowej w ramach zajęć stacjonarnych Zaczyna się od rozdziału, w którym rzeczowo przedstawia opis celu projektu Zaczyna się od rozdziału na temat osobistych celów sformułowanych wobec kursu; dominuje narracja w pierwszej osobie Zaczyna się od rozdziału na temat motywacji wobec tematu projektu; dominują pozytywne wypowiedzi, które mówią o motywacji, zainteresowaniach, wyzwaniach, wartości dodanej, korzyściach, procesie
Mocne strony Podporządkowanie swoich potrzeb celowi grupy Rzeczowość kontaktów, orientacja na merytoryczny cel projektu Dokładność i drobiazgowość w realizacji zadań, pracowitość Wysoka motywacja do działania na każdym etapie realizacji projektu
Słabe strony Mimo wysokiej oceny pracy grupowej, pasywna funkcja w grupie Niedocenianie uczenia się w grupie i od innych Działanie jest wynikiem kalkulacji korzyści i strat Niski udział kompetencji przedmiotowych

Źródło: opracowanie własne na podstawie: O. Zawacki-Richter, E.M. Bäcker, A. Hanft, dz.cyt.

Model kompetencji V. Heysego i J. Erpenbecka okazał się właściwym instrumentem diagnozowania kompetencji studentów, który pozwala nazwać kompetencje zdobywane w procesie kształcenia, a także rozpoznać sytuacje, w jakich wykorzystywane są określone kompetencje. Nie można natomiast na podstawie portfolio wnioskować o źródle zidentyfikowanych kompetencji, ani też o tym, którymi kompetencjami student dysponował, a które zdobył lub zmodyfikował w trakcie kształcenia. Autorzy badania postulują, aby budować programy studiów na modelach kompetencyjnych, które sprawią, że portfolia nie będą tylko zbiorem artefaktów, lecz systematyczną prezentacją wykorzystywanych kompetencji.

Podsumowanie

Podjęte w artykule zagadnienie walidacji kompetencji jest w polskiej praktyce akademickiej i refleksji naukowej nowe, ale bardzo ważne w kontekście uznawania wdrożonych przez Krajowe Ramy Kwalifikacji efektów kształcenia, ich porównywalności na forum europejskim oraz rozwoju praktyki uczenia się przez całe życie. Zagadnienie to wymaga dalszych intensywnych działań na różnych polach: naukowym, polityczno-oświatowym i praktyki akademickiej oraz pracy nad świadomością nauczycieli akademickich, studentów i władz uczelni. Problem walidacji efektów kształcenia mieści się w obszarze dydaktyki akademickiej i zarządzania uczelnią. Tymczasem ze sprawozdania Unijnej grupy wysokiego szczebla ds. modernizacji szkolnictwa wyższego wynika, że wiele wyższych uczelni kładzie zbyt mały nacisk na nauczanie w porównaniu z badaniami naukowymi, choć oba elementy należą do podstawowej misji szkolnictwa wyższego26, co wiąże się z postulatem wprowadzenia do 2020 roku obowiązkowych szkoleń w zakresie dydaktyki dla nauczycieli akademickich. Jednym z problemów podnoszonych już obecnie i kluczowych dla walidacji kompetencji społecznych jest zastosowanie języka efektów uczenia się. Nauczyciele akademiccy mają wpływ na formułowanie kierunkowych efektów kształcenia oraz efektów dotyczących poszczególnych zajęć, przedmiotów lub modułów. Efekty kształcenia powinny być sformułowane tak, aby możliwa była ich weryfikacja, a następnie walidacja. Podstawą jest prawidłowe, tzn. na tyle szczegółowe ujęcie rozwijanych w ramach zajęć kompetencji, aby możliwa była ich rzeczywista ocena przez konkretnego nauczyciela. Z tym związane jest przyjęcie m.in. odpowiednich metod weryfikacji w dziedzinie osiągania założonych efektów kształcenia, np. testu, autoewaluacji, oceny zwrotnej ze strony nauczyciela i innych studentów, wywiadu fokusowego, autorefleksji. Zaproponowane w artykule metody mogą być pomocne szczególnie w weryfikacji i walidacji kierunkowych efektów kształcenia. Zasady towarzyszące weryfikacji i walidacji efektów kształcenia właściwych dla kompetencji społecznych zostały opisane w publikacji, która ukaże się na przełomie 2013 i 2014 w serii wydawnictw Instytutu Badań Edukacyjnych27.

W niniejszym artykule ograniczono się do przedstawienia wybranych narzędzi diagnozy i pomiaru kompetencji (PIAAC, Assesment Center) oraz metody ich rozwijania i dokumentowania (portfolio) jako podstaw procesu walidacji, który obejmuje ponadto określenie wartości i uznanie efektów uczenia się formalnego, pozaformalnego i nieformalnego. Warunkiem dalszych prac nad walidacją efektów kształcenia jest określenie przez właściwe organy państwowe podstaw prawnych i głównych zasad systemu walidacji efektów kształcenia. Zapisy otwierające tę drogę znalazły się w nowelizacji ustawy o szkolnictwie wyższym, na którą czekamy.

Bibliografia

  • N.A. Bowman, P.L. Hill, Measuring how college affects students: Social desirability and other potential biases in self-reported gains, [w:] S. Herzog, N.A. Bowman (red.), Validity and limitations of college student self-report data (New Directions for Institutional Research), Jossey-Bass, San Francisco 2011.
  • A. Corden, R. Sainsbury, Volunteering For Employability Skills, Social Policy Research Unit, University of York, 2005.
  • M. Czerepaniak-Walczak, Między dostosowaniem a zmianą. Elementy emancypacyjnej teorii edukacji, Szczecin 1994.
  • V. Heyse, J. Erpenbeck, Kompetenztraining, Stuttgart 2004.
  • R. Góralska, H. Solarczyk, O kompetencjach w kontekście Polskiej Ramy Kwalifikacji dla uczenia się przez całe życie, „Edukacja Dorosłych” 2012, nr 2.
  • A. Jagiełło-Rusiłowski, H. Solarczyk-Szwec, Kwerenda badań nad kompetencjami społecznymi w kontekście edukacji akademickiej w Polsce i na świecie, „Przegląd Badań Edukacyjnych” 2013, nr 2.
  • F.D. Le Deist, J. Winterton, What is competence?, „Human Resource Development International” 2005, t. 8, nr 1.
  • J. Markowitsch, C. Plaimauer, Descriptors for competence: towards an international standard classification for skills and competences, „Journal of European Industrial Training” 2009, t. 33, nr 8/9.
  • A. Matczak, Kwestionariusz Kompetencji Społecznych (KKS). Podręcznik, Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego, Warszawa 2000.
  • M. Nowak-Dziemianowicz (red.), Zasady walidacji efektów kształcenia właściwych dla kompetencji społecznych - Między adaptacją a rozwojem - kompetencje społeczne jako cel kształcenia w szkole wyższej, nr publikacji IBE/01/2011, Warszawa 2013 (w druku).
  • A. Podgórski, Raport z badania „Zapotrzebowanie pracodawców województwa kujawsko - pomorskiego na tzw. kompetencje miękkie absolwentów kierunków ścisłych”, Biuro Karier UMK, Toruń 2010.
  • R.M. Ryan, E.L. Deci, A self-determination approach to psychotherapy: The motivational bassis for effective Change, „Canadian Psychology” 2008, nr 49.
  • M. Sidor-Rządkowska, Kompetencyjne systemy ocen pracowników. Przygotowanie, wdrażanie i integrowanie z innymi systemami, ZZL, Kraków 2006.
  • H. Solarczyk-Szwec, Pedagogiczna interpretacja kompetencji społecznych, [w:] M. Nowak-Dziemianowicz (red.), Zasady walidacji efektów kształcenia właściwych dla kompetencji społecznych - Między adaptacją a rozwojem - kompetencje społeczne jako cel kształcenia w szkole wyższej, nr publikacji IBE/01/2011, Warszawa 2013 (w druku).
  • O. Zawacki-Richter, A. Hanft, E.M. Bäcker, Denn wir wissen nicht, was sie tun... Portfolios zur Dokumentation von Kompetenzen in einem weiterbildenden Masterstudiengang, „Medienpädagogik” 2010, z. 18.

Netografia

INFORMACJE O AUTORZE

HANNA SOLARCZYK-SZWEC

Autorka jest samodzielnym pracownikiem naukowym Wydziału Nauk Pedagogicznych na Uniwersytecie Mikołaja Kopernika. Jej zainteresowania naukowe dotyczą edukacji dorosłych oraz edukacji i poradnictwa przez całe życie w Polsce i za granicą. Uczestniczyła w kilku międzynarodowych projektach badawczych, ostatnio w koordynowanych przez Instytut Badań Edukacyjnych badaniach nad kompetencjami społecznymi w Krajowych Ramach Kwalifikacji.

 

Informacje o artykule

pdf abstract in English

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 Artykuł został przygotowany na podstawie materiałów zgromadzonych przez autorkę na potrzeby projektu Opracowanie założeń merytorycznych i instytucjonalnych wdrażania Krajowych Ram Kwalifikacji oraz Krajowego Rejestru Kwalifikacji dla uczenia się przez całe życie, realizowanego przez Instytut Badań Edukacyjnych w okresie od lipca 2010 do końca 2013 r. w ramach Europejskiego Funduszu Społecznego Program Operacyjny Kapitał Ludzki, Priorytet III Wysoka jakość systemu oświaty, poddziałanie 3.4 Otwartość systemu edukacji w kontekście uczenia się przez całe życie, poddziałanie 3.4.1. Opracowanie i wdrożenie Krajowego Systemu Kwalifikacji.

2 H. Narwojsz, C. Krawczyński, K. Symela, K. Zwiefka, Walidacja kompetencji nieformalnych uzyskanych poprzez doświadczenie w pracy. Metodyka - procedury - dokumentacja, Olsztyn 2008, s. 7, 13, wmzdz.pl/fileadmin/.... [20.11.2013].

3 Tamże, s. 22.

4 R. Góralska, H. Solarczyk, O kompetencjach w kontekście Polskiej Ramy Kwalifikacji dla uczenia się przez całe życie, „Edukacja Dorosłych” 2012, nr 2, s. 27-39.

5 A. Jagiełło-Rusiłowski, H. Solarczyk-Szwec, Kwerenda badań nad kompetencjami społecznymi w kontekście edukacji akademickiej w Polsce i na świecie, „Przegląd Badań Edukacyjnych” 2013, nr 2, s. 33.

6 H. Solarczyk-Szwec, Pedagogiczna interpretacja kompetencji społecznych, [w:] M. Nowak-Dziemianowicz (red.), Zasady walidacji efektów kształcenia właściwych dla kompetencji społecznych. Między adaptacją a rozwojem - kompetencje społeczne jako cel kształcenia w szkole wyższej, nr publikacji IBE/01/2011, Warszawa 2013 (w druku).

7 M. Nowak-Dziemianowicz (red.), Zasady walidacji efektów kształcenia..., dz.cyt.

8 M. Czerepaniak-Walczak, Między dostosowaniem a zmianą. Elementy emancypacyjnej teorii edukacji, Szczecin 1994, s. 147-195.

9 Tamże, s. 164.

10 Tamże, s. 155.

11 A. Jagiełło-Rusiłowski, H. Solarczyk-Szwec, dz.cyt.

12 J. Markowitsch, C. Plaimauer, Descriptors for competence: towards an international standard classification for skills and competences, „Journal of European Industrial Training” 2009, t. 33, nr 8/9, s. 817-837.

13 N.A. Bowman, P.L. Hill, Measuring how college affects students: Social desirability and other potential biases in self-reported gains, [w:] S. Herzog, N.A. Bowman (red.), Validity and limitations of college student self-report data (New Directions for Institutional Research), Jossey-Bass, San Francisco 2011.

14 C. Cherniss, Emotional intelligence and organizational effectiveness, [w:] C. Cherniss, D. Goleman (red.), The emotionally intelligent workplace, San Francisco 2001, s. 3-12.

15 R.M. Ryan, E.L. Deci, A self - determination approach to psychotherapy: The motivational bassis for effective Change, „Canadian Psychology” 2008, nr 49, s. 186-193.

16 A. Matczak, Kwestionariusz Kompetencji Społecznych (KKS). Podręcznik, Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego, Warszawa 2000.

17 A. Corden, R. Sainsbury, Volunteering For Employability Skills, Social Policy Research Unit, University of York, 2005.

18 O. Zawacki-Richter, A. Hanft, E.M. Bäcker, Denn wir wissen nicht, was sie tun... Portfolios zur Dokumentation von Kompetenzen in einem weiterbildenden Masterstudiengang, „Medienpädagogik” 2010, s. 18.

19 Entuzjaści edukacji, eduentuzjasci.pl/pl....

20 Badanie PIAAC, eduentuzjasci.pl/pl.... [06.12.2013].

21 M. Sidor-Rządkowska, Kompetencyjne systemy ocen pracowników. Przygotowanie, wdrażanie i integrowanie z innymi systemami, ZZL, Kraków 2006, s. 123-126

22 A. Podgórski, Raport z badania „Zapotrzebowanie pracodawców województwa kujawsko-pomorskiego na tzw. kompetencje miękkie absolwentów kierunków ścisłych”, Biuro Karier UMK, Toruń 2010, s. 10.

23 Cyt. za: M. Sidor-Rządkowska, dz.cyt., s. 123-126.

24 O. Zawacki-Richter, A. Hanft, E.M. Bäcker, dz.cyt.

25 V. Heyse, J. Erpenbeck. Kompetenztraining, Stuttgart 2004.

26 Komisja Europejska, Komunikat prasowy Unijna grupa wysokiego szczebla - szkolenie nauczycieli w zakresie metod nauczania, Bruksela, 18.06.2013 r. [IP/13/554].

27 M. Nowak-Dziemianowicz, dz.cyt.