Spojrzenie na wypowiedź pisemną na egzaminie gimnazjalnym

Numer JOwS: 
str. 17

Dla osób niebędących nauczycielami ocenianie umiejętności tworzenia wypowiedzi pisemnej przez uczniów może wydawać się czynnością najprostszą pod słońcem: podaje się temat i uczniowie piszą. Wystarczy jednak krótka rozmowa z każdym nauczycielem języka polskiego, obcego lub historii, aby przekonać się, ile obaw towarzyszy procesowi oceniania wypowiedzi pisemnych i ile spraw związanych z tym zagadnieniem nadal pozostaje niejasnych.

Użyteczność jako nadrzędna cecha dobrego testu

Bachman i Palmer (1996:17) definiują użyteczność jako wypadkową sześciu cech: trafności, autentyczności, interakcyjności (zaangażowania intelektualnego i emocjonalnego), oddziaływania na proces kształcenia, rzetelności i praktyczności. Chociaż wszystkie powyższe cechy są równie ważne, należy od razu zaznaczyć, że opracowanie procedury testowania, którą charakteryzowałoby występowanie wszystkich tych cech w maksymalnym natężeniu, jest praktycznie niewykonalne. Najbliższe ideałowi było – niestety wyłącznie w swych założeniach – podejście komunikacyjne w testowaniu, jednakże testowanie w pełni komunikacyjne i naturalne byłoby […] nierealistyczne i niepraktyczne – wymagałoby organizowania wielogodzinnych, zindywidualizowanych egzaminów, na co nie pozwala czas, lokal i budżet (Komorowska 2005:48). Te oraz inne ograniczenia sprawiają, że w praktycznych sytuacjach sprawdzania wiedzy uczniów konieczne jest osiągnięcie stanu, w którym cechy te osiągną natężenie właściwe dla danego kontekstu i tego, czego oczekuje się od wyników testowania. Przejdę teraz do omówienia tych cech po kolei. Ze względu na ograniczone miejsce zostaną one omówione jedynie pobieżnie; skupię się na wybranych aspektach każdego zagadnienia.

Trafność

Trafność jest jednym z najbardziej problematycznych zagadnień nie tylko w sprawdzaniu umiejętności tworzenia wypowiedzi pisemnej, ale w ogóle w teorii pomiaru (Kane 2006; Komorowska 2002; Fulcher i Davidson 2007; Smolik 2008; Weir 2005); szczegółowe jej omawianie zdecydowanie wykraczałoby poza zakres omawianego zagadnienia. Dla potrzeb niniejszego artykułu wystarczy, jeżeli zdefiniuję ją jako słuszność interpretacji wyniku uzyskanego w procesie testowania oraz wykorzystania tego wyniku (Messick 1989; Niemierko 1999). Dalej upraszczając, chodzi o to, aby test mierzył to, co zamierzaliśmy, że ma mierzyć, a wyniki pozyskiwane w wyniku procesu testowania były właściwie interpretowane oraz wykorzystywane zgodnie z ich zakładanym przeznaczeniem.

Trafność nie jest tworem jednowymiarowym; składają się nań różne sposoby gromadzenia danych o słuszności i poprawności interpretacji wyniku. Dwa podstawowe wymiary trafności to trafność konstruktu (ang. construct validity), zwana również teoretyczną, oraz trafność oparta na analizie treści (ang. content validity). W zadaniach/testach sprawdzających szeroko rozumianą umiejętność pisania trafność konstruktu ustala się odnosząc zadanie do konkretnego modelu teoretycznego pisania bądź wybranych aspektów kilku takich modeli. Natomiast w przypadku trafności opartej na analizie treści – porównuje się wymagania w danym zadaniu np. z wymaganiami określonymi w programie nauczania bądź podręczniku.

W przypadku części egzaminu gimnazjalnego z języka obcego nowożytnego oba te wymiary trafności pokrywają się w znacznym stopniu ze względu na fakt, że podstawą tworzenia zadań egzaminacyjnych są wymagania ogólne i szczegółowe określone w podstawie programowej kształcenia ogólnego dla III etapu edukacyjnego (MEN 2008). Wymagania stanowią niejako definicję konstruktu, a jednocześnie określają treści, które powinny być nauczane oraz sprawdzane. Oczywiście nic nie stoi na przeszkodzie, aby wymagania podstawy programowej odnieść do wybranego modelu teoretycznego pisania albo – nawet szerzej – kompetencji komunikacyjnej (np. Bachman 1990)[2].

Jeżeli chodzi o tworzenie wypowiedzi, podstawa programowa III.1 (MEN 2008) określa, że uczeń III klasy gimnazjum, który kontynuuje naukę języka obcego ze szkoły podstawowej, czyli uczy się tego samego języka około sześć lat, tworzy krótkie, proste i zrozumiałe wypowiedzi pisemne (np. notatka, ogłoszenie, zaproszenie, pozdrowienia, życzenia, wiadomość, ankieta, pocztówka, e-mail, opis, krótki list prywatny. To wymaganie szczegółowe zostało doprecyzowane w Informatorze o egzaminie gimnazjalnym (CKE 2010), w którym określono, że zadanie sprawdzające umiejętność tworzenia wypowiedzi pisemnej polega na napisaniu krótkiego (50-100 słów) tekstu użytkowego (listu prywatnego, wiadomości, e-maila) z elementami opisu, relacjonowania, zaproszenia, wyrażania i uzasadniania opinii i uczuć itp., zgodnie ze szczegółowymi wskazówkami podanymi w poleceniu. W każdym poleceniu podane są trzy elementy, które uczeń powinien rozwinąć w wypowiedzi (str. 102). Innymi słowy – wymagania podstawy programowej wyznaczyły zakres tego, co może być sprawdzane na egzaminie.

Przyjrzyjmy się teraz, w jaki sposób powyższe zapisy zostały zrealizowane praktycznie w zadaniach, które zostały wykorzystane podczas sesji egzaminacyjnej w kwietniu br. W tym roku uczniowie mogli wybrać jeden z języków obcych, którego uczyli się w gimnazjum jako przedmiotu obowiązkowego. Mogli wybrać spośród następujących: język angielski, język francuski, język hiszpański, język niemiecki, język rosyjski, język włoski. Ponieważ wszyscy uczniowie przystępowali do części trzeciej egzaminu tego samego dnia, możliwe było wykorzystanie tego samego zadania w arkuszach z różnych języków. W tabeli 1. przedstawiony jest opis obu zadań wraz z wymaganiami z podstawy programowej. Warto w tym miejscu podkreślić, że pomimo ewidentnych różnic, oba zadania równie dużo łączy, zwłaszcza jeżeli chodzi o wymagania szczegółowe, których spełnienie jest sprawdzane.

 

Zadanie 1.

Zadanie 2.

Treść

Napisz wiadomość e-mail do kolegi/koleżanki z (Anglii / Hiszpanii / Włoch):

  • poinformuj, w jakich okolicznościach straciłeś(-łaś) swój telefon komórkowy;
  • opisz, jak na to zdarzenie zareagowali Twoi rodzice;
  • wyjaśnij, jakie problemy masz z powodu braku telefonu.

W Twojej szkole odbędzie się spotkanie ze sławną osobą. W e-mailu do kolegi/koleżanki

z (Francji / Niemiec / Rosji):

  • napisz, dlaczego zaprosiliście tę osobę do szkoły;
  • wyjaśnij, na czym polega Twój udział w przygotowaniach do tego spotkania;
  • opisz, jak zamierzasz ubrać się w tym dniu.

Języki

angielski, hiszpański, włoski

francuski, niemiecki, rosyjski

Wymagania ogólne

I. Znajomość środków językowych.

III. Tworzenie wypowiedzi.

IV. Reagowanie na wypowiedzi.

I. Znajomość środków językowych.

III. Tworzenie wypowiedzi.

IV. Reagowanie na wypowiedzi.

Wymagania szczegółowe

1. Uczeń posługuje się podstawowym zasobem środków językowych (leksykalnych, gramatycznych, ortograficznych), umożliwiających realizację pozostałych wymagań ogólnych w zakresie następujących tematów:

1) człowiek;

12) nauka i technika.

 

5. Uczeń tworzy krótkie, proste i zrozumiałe wypowiedzi pisemne, np. e-mail:

4) relacjonuje wydarzenia z przeszłości;

6) przedstawia opinie innych osób;

1) opisuje ludzi (emocje);

8) opisuje swoje doświadczenia;

9) stosuje formalny lub nieformalny styl wypowiedzi w zależności od sytuacji.

7. Uczeń reaguje w formie prostego tekstu pisanego, np. e-mail, w typowych sytuacjach:

2) uzyskuje i przekazuje informacje i wyjaśnienia.

1. Uczeń posługuje się podstawowym zasobem środków językowych (leksykalnych, gramatycznych, ortograficznych), umożliwiających realizację pozostałych wymagań ogólnych w zakresie następujących tematów:

1) człowiek;

3) szkoła;

9) kultura.

5. Uczeń tworzy krótkie, proste i zrozumiałe wypowiedzi pisemne, np. e-mail:

1) opisuje ludzi i czynności;

4) relacjonuje wydarzenia z przeszłości;

7) opisuje plany na przyszłość;

9) stosuje formalny lub nieformalny styl wypowiedzi w zależności od sytuacji.

 

7. Uczeń reaguje w formie prostego tekstu pisanego, np. e-mail, w typowych sytuacjach:

2) uzyskuje i przekazuje informacje i wyjaśnienia.

Tabela 1. Wypowiedź pisemna na egzaminie gimnazjalnym z języków obcych w kwietniu 2012 r.

Aby sprawdzić, czy zakładane umiejętności zostały istotnie sprawdzone, przeanalizujmy kilka przykładowych wypowiedzi zaczerpniętych z prac gimnazjalistów, którzy przystąpili do egzaminu z języka angielskiego (zadanie 1. w tabeli 1.). W cytowanych poniżej fragmentach zachowano oryginalną pisownię.

I was yesterday in the cinema and lost my mobile.

5.4) Uczeń relacjonuje wydarzenia z przeszłości.

7.2) Uczeń przekazuje informacje i wyjaśnienia.

My mum and dad weren’t happy when I told them about this situation. They screamed at me whole weekend. I think they have dissapointed on me and I feel terrible with that.

5.4) Uczeń relacjonuje wydarzenia z przeszłości.

5.6) Uczeń przedstawia opinie innych osób.

5.8) Uczeń opisuje swoje doświadczenia.

Now I feel terrible, because I can’t text with my friends and even ask them about homework. What’s more I’ve lost all my photos and all numbers.

5.4) Uczeń relacjonuje wydarzenia z przeszłości.

5.8) Uczeń opisuje swoje doświadczenia.

1.12) Uczeń posługuje się podstawowym zasobem środków językowych (leksykalnych, gramatycznych, ortograficznych), umożliwiających realizację pozostałych wymagań ogólnych w zakresie tematu nauka i technika.

Oczywiście wśród setek tysięcy prac egzaminacyjnych znajdą się również takie, w których nie znajdziemy dowodów na to, że uczeń potrafi przekazać wymagane informacje w formie pisemnej. Nie stanowi to jednak problemu z punktu widzenia pomiaru, ponieważ taka wypowiedź po prostu nie uzyska punktów za treść, co oznacza, że wynik tego ucznia będzie odzwierciedlał brak umiejętności, które podlegały sprawdzeniu.

W tych z konieczności krótkich rozważaniach nad trafnością nie można pominąć fundamentalnego pytania, tj. przejawem jakich umiejętności jest właściwie stworzona przez ucznia wypowiedź? Przecież w testowaniu nie może chodzić wyłącznie o to, aby dowiedzieć się, czy uczeń potrafi wykonać konkretne zadanie, w naszym przypadku – napisać e-mail o straconym telefonie komórkowym. Zadanie stanowi jedynie pretekst do tego, aby dowiedzieć się czegoś o szerszych umiejętnościach ucznia, niezbędne jest jednak wyznaczenie granic takiej generalizacji wyniku. Z pomocą może nam tu przyjść wspomniany wcześniej Europejski System Opisu Kształcenia Językowego (CODN 2003), do którego w komentarzu nawiązują autorzy podstawy programowej. Określają oni, że poziom III.1 podstawy ma wymagania zbliżone do poziomu A2+ w sześciostopniowej skali poziomów biegłości zdefiniowanej przez Radę Europy[3]. Jeżeli sięgniemy do skali nazwanej Pisanie twórcze, znajdziemy tam następujący deskryptor dla poziomu A2:

Potrafi sporządzić bardzo krótkie, proste opisy obecnych i przeszłych wydarzeń i osobistych doświadczeń. Potrafi w formie połączonych zdań pisać o codziennych sprawach własnego otoczenia, np.: o ludziach, miejscach […] (CODN 2003:76).

Można wstępnie przyjąć, że wynik, jaki uzyska uczeń za wypowiedź pisemną na egzaminie gimnazjalnym, można interpretować jako wskaźnik takich umiejętności, bez nadmiernej obawy o przekraczanie granic generalizacji. Oczywiście wniosek taki jest wyłącznie efektem analiz teoretycznych, dla pełnego jego potwierdzenia konieczne byłyby pogłębione badania empiryczne. Cała powyższa dyskusja wskazuje jednak, że trafność zawsze stanowiła dla twórców egzaminu ważny element w rozważaniach nad użytecznością wypowiedzi pisemnej na egzaminie gimnazjalnym.