Bartosz Brzoza: Na temat przewodni niniejszego tomu czasopisma wybraliśmy ocenę postępów uczniów. Czym jest dla pana mądre ocenianie w kontekście edukacji językowej?
Dr hab. Waldemar Martyniuk, prof. UJ: Użył pan ciekawego przymiotnika – mądry. Jeszcze go nie używałem w tym kontekście, ale dobre ocenianie właściwie się do tego sprowadza. Często używa się tu słowa „rozsądne”. W ocenianiu chodzi oczywiście o jakość, ale rozsądek – czy rzeczona mądrość – do tej jakości prowadzą. Ocenianie to realne, wydawałoby się – proste czynności, których efektem ma być ocena czegoś, co jednak oceniać bardzo trudno, bo mówimy o złożonym zachowaniu ludzkim. Nie można przecież zobaczyć czyjejś umiejętności językowej poza sytuacją, w której dana osoba używa języka. A zatem mądrość w ocenianiu powinna objawiać się tym, że osoba oceniająca wie, co ocenia, rozumie sens tego, co robi i jest w stanie na koniec określić, czy rzeczywiście udało się jej tej oceny dokonać. W kształtowaniu takiego mądrego oceniania pomaga sięgnięcie do dobrych praktyk, np. określonych przez stowarzyszenie ALTE (Association of Language Testers in Europe). W końcu ocenianie powinno być przede wszystkim pożyteczne, czyli przynosić jasno określone korzyści zarówno oceniającemu, jak i ocenianemu.
Odniósł się pan do standardów testowania według ALTE. Jeden z nich – interpretacja wyników – wydaje się trudny do przełożenia na praktykę szkolną. Każde rozsądne ocenianie powinno zawierać ten element, a dla wielu z nas, nauczycieli, test jest często informacją tylko o stopniu opanowania materiału. Do jakich refleksji zatem powinny prowadzić testowanie i analiza jego wyników?
W zasadzie dopiero interpretacja uzyskanego rezultatu oraz przełożenie tego na praktykę i dalsze nauczanie pozwala na właściwą konkluzję. Dopiero gdy obserwujemy konsekwencje danej interpretacji, możemy zamknąć cykl oceniania. Jednym z modeli, które opisują ten proces, jest model AUA (Assessment Use Argument) Lyle’a Bachmana. Według niego ocenianie zaczyna się od poboru próbki umiejętności, by czyjąś sprawność językową „zobaczyć”. Możemy mówić jedynie o próbce, ponieważ gdybyśmy chcieli ocenić całość dokonań ucznia, musielibyśmy prowadzić długoterminowe obserwacje jego sprawności, a to uczyniłoby ocenianie niepraktycznym. Po pobraniu próbki następuje jej zmierzenie oparte na przyjętych wcześniej kryteriach. Są rozmaite sposoby ich ustalania. Niestety z opisywaniem sprawności językowej jest trudniej niż np. z pomiarem masy jakiegoś obiektu – nasz opis jest zaledwie elementem dłuższego procesu, bo wymaga np. wspomnianej interpretacji tego, co oznacza uzyskanie przez ucznia czy studenta oceny 3,5/5 lub 70 proc. Dopiero po jej dokonaniu oceniający podejmuje określoną decyzję, czasem mającą doniosły wpływ na sytuację uczącego się, np. o promocji do następnej klasy czy dotyczącą egzaminów certyfikatowych z języka polskiego jako obcego, których zdanie jest warunkiem ubiegania się o polskie obywatelstwo.
Czy tylko model AUA sprawdzi się w opisywaniu cyklu oceniania?
Nie, przydatny jest tu także model socjokognitywny: bardziej szczegółowy, stawiający na pierwszym miejscu ocenianego. Tutaj ocena to nie tylko analiza i interpretacja pobranej próbki, ale podejście zakładające konsekwentne uwzględnianie kontekstu społecznego, w którym osadzony jest uczący się, oraz wszystkich tych jego przymiotów, które mogą mieć wpływ na sprawność posługiwania się językiem. Możemy użyć prostego porównania: są ludzie, którzy chętnie mówią i tacy, którzy robią to z mniejszą ochotą, ale nie dlatego że nie potrafią, ale dlatego, że taka jest ich natura. Tacy oceniani dostarczą innych próbek, choć kompetencje mogą mieć porównywalne z tymi pierwszymi. Różnice w próbkach mogą wynikać więc z charakteru, niewyspania, choroby, odczuwanych emocji itd. Model socjokognitywny pozwala wobec tego oceniać sprawność językową dzięki wzięciu pod uwagę kontekstu.
Czy z pana obserwacji wynika, że nauczyciele w Polsce odpowiednio realizują założenia tych modeli oceniania i korzystają ze wspomnianych dobrych praktyk?
Jeśli nauczyciele zdają sobie sprawę ze wszystkich okoliczności, o których tu mówimy, to na każdym etapie powinni móc odpowiedzieć sobie na pytanie, dlaczego właśnie tak oceniają i czy rzeczywiście udaje im się osiągnąć to, co założyli. I tu można wrócić do kryteriów jakości oceniania, bo wśród nich jest właśnie trafność oceny, czyli refleksja, czy rzeczywiście ocenione zostało to, co miało być ocenione – i nic ponadto. Oceniający powinien zadać sobie pytanie, czy np. oprócz sprawności językowej nie ocenił jednocześnie charakteru ucznia lub czy wygląd osoby albo sposób jej ubierania się nie miały wpływu na ocenę. Zachowanie, postawa kandydata mogą mieć znaczenie w kontakcie językowym, tj. wpływać na jego odbiór i ocenę. Rozumiejąc te zależności i uwzględniając kontekst, będziemy poddawać ocenie te umiejętności, które powinny być jej faktycznym przedmiotem – wtedy mówimy o trafności.
Ważna jest też rzetelność pomiaru. Jeśli w danym teście uczeń uzyskał 75 proc. punktów, to wykonując podobny zestaw zadań, powinien uzyskać zbliżony wynik. Jeżeli w jednej próbce od tej samej osoby otrzymujemy 75 proc., a w drugiej 35 proc., możemy uznać nasz pomiar za nierzetelny.
Kiedyś zapytałem studentów, jak można uzyskać pełną trafność oceny. Odpowiedzieli mi, że można umieścić nad kimś dron, przez jakiś czas prowadzić stałą obserwację zachowania językowego i ocenić za pomocą analizy zebranych danych. To podważałoby jednak inne kryterium jakości oceniania – praktyczność, bo byłoby to wysoce niepraktyczne rozwiązanie.
W 2015 r. na konferencji FRSE „Ocenianie w edukacji językowej” mówił Pan o Europejskim Systemie Opisu Kształcenia Językowego i jego wdrażaniu w proces oceny kompetencji językowych. Wytyczył Pan wówczas kierunki, w jakich powinno iść ocenianie w polskiej szkole. Czy — po sześciu latach — zauważa pan zmiany w procesie oceniania właśnie poprzez mówienie, propagowanie i informowanie o ESOKJ?
Nie mogę oczywiście ocenić całości kształcenia językowego w Polsce, ale niewątpliwie, patrząc na maturę i egzaminy zewnętrzne na innych etapach, to wszystkie one odnoszą się w jakiś sposób do ESOKJ. Co można zauważyć, to jest pewna zmiana w podejściu do oceniania. Rzadziej spotykana jest np. wspomniana przeze mnie w 2015 r. mentalność negatywnego oceniania. Zamiast tego częściej pojawiają się zadania, które skupiają się na ocenie tego, co ktoś potrafi rzeczywiście osiągnąć.
Niedawna aktualizacja dokumentu ESOKJ podkreśla rolę mediacji jako odrębnego działania – językowego, ale związanego również z kompetencjami interpersonalnymi. Co nauczyciel powinien wiedzieć, by rzetelnie ocenić umiejętność mediacji?
Rzeczywiście mediacja jako działanie językowe została niedawno włączona do opisu w ujęciu bardziej technicznym. Odnosi się ona do bardzo szerokiego zakresu umiejętności i – traktowana jako działanie – stanowi właściwie komunikację jako taką i edukację jako taką. Umiejętność mediacji jest nie tylko kwestią sprawności językowych, ale i rozmaitych innych kompetencji, wyczucia, wrażliwości, dyplomacji, tolerancji, empatii. Oceniać mediację starajmy się więc tam, gdzie się da, i wtedy, kiedy ma to sens. Nie powinniśmy na siłę dostosowywać standardowych testów sprawności do oceniania wszystkich aspektów mediacji opisanych w uzupełnieniu ESOKJ. W trafnej ocenie mediacji wspomoże nas przyjęcie holistycznego podejścia do oceniania procesu, a nie tylko produktu uczenia się.
A jaki wpływ na ocenianie ogólnej sprawności językowej uczniów miał okres pandemii, która tak bardzo zmieniła rzeczywistość szkolną?
W ostatnim czasie prowadziliśmy dwa projekty, z czego jeden w ramach ALTE we wczesnym okresie pandemii. Zebraliśmy informacje od instytucji stowarzyszonych na temat tego, jak sobie radzą i jakie rozwiązania stosują. Z zebranych danych wynika, że pandemia zwiększyła skalę zastosowania technologii online w procesie oceniania. Żadna z instytucji nie była jednak w pełni zadowolona z rozwiązań, które zastąpiły dotychczasowy stacjonarny tryb oceniania. Ich pracownicy uznali, że może to być interesujące uzupełnienie, ale trudno byłoby porzucić dotychczasowy tryb na rzecz całkowitego przejścia na ocenianie na odległość.
W okresie pandemii dostrzeżono i zaczęto stosować technologie, które zapewniają trafny i rzetelny pomiar, jednak problemem okazały się kwestie praktyczne. Nasi partnerzy projektowi – instytucje testujące, opowiadali nam, jak czasami uciekali się do wymyślnych zabiegów, żeby zapewnić rzetelność pomiaru i jakich zabezpieczeń żądali od testowanych. W pewnych okolicznościach ocenianie online bywa przydatne i pomaga rozwiązywać problemy, mam jednak nadzieję, że wrócimy do standardowego oceniania, jednocześnie nie porzucając tych skutecznych rozwiązań, które pandemia nam unaoczniła.
Jaka będzie przyszłość testowania i oceniania kompetencji językowych?
Myślę, że na pewno wyzwaniem jest technologia, zwłaszcza w zakresie sztucznej inteligencji. Technologia otwiera całkiem nowe możliwości, zarówno jeśli chodzi o uczenie się, jak i ocenianie. To, co już jesteśmy w stanie osiągnąć, np. analizując ciąg dźwięków w nagraniu i dokonując w coraz szybszym tempie zamiany głosu na tekst, jest fascynującą możliwością.
Sztuczna inteligencja w coraz doskonalszy sposób odczytuje pismo i je tłumaczy. To wpływa zarówno na nauczanie/uczenie się, jak i ocenianie sprawności językowych. Już teraz dla wielu osób zrozumienie tekstu w jakimkolwiek języku nie jest problemem dzięki aplikacjom i urządzeniom – sam z nich coraz częściej korzystam. Nie będzie to tłumaczenie literackie czy pełne, ale jeśli chcemy szybko się zorientować, o co chodzi w danym fragmencie, to w kilka chwil otrzymamy surowy przekład – niedoskonały, ale przyzwoicie wiarygodny. Zresztą samo posługiwanie się technologią to też sprawność. Być może ta umiejętność powinna w przyszłości także podlegać ocenie jako część szerszej pojętej kompetencji językowej. Będzie to zapewne miało szerokie konsekwencje dla edukacji językowej.
