Wpływ testu na środowisko edukacyjne

Numer JOwS: 
str. 56

Dzięki współpracy redakcji JOwS z Cambridge English Language Assessment mamy przyjemność udostępnić Państwu na łamach naszego czasopisma artykuł Nicka Saville’a - jednego z czołowych badaczy, zajmujących się problematyką testowania biegłości językowej. Tekst opisuje model umożliwiający badanie, w jaki sposób ocenianie umiejętności językowych kształtuje konteksty edukacyjne. Tekst w języku angielskim jest poprzedzony krótką syntezą w języku polskim, opracowaną przez dr Agnieszkę Dryjańską, redaktor JOwS.

Pobierz artykuł w PDF

Badania nad wpływem testu mają na celu pokazanie skutków związanych ze stosowaniem testowania i egzaminowania w środowisku edukacyjnym i społecznym. Termin angielski impact, tłumaczony na język polski jako wpływ testu[1], stanowi niejako rozszerzenie znanego w edukacji pojęcia washback efekt zwrotny. O ile washback oznacza wpływ testowania na proces nauczania/uczenia się obserwowany w skali mikro – ucznia, nauczyciela, klasy – o tyle impact staje się pojęciem nadrzędnym oznaczającym zespół rezultatów przeprowadzania testów i egzaminów obserwowalnych na poziomie społecznym. Celem niniejszego artykułu jest przedstawienie najważniejszych cech obecnie opracowywanego modelu wpływu testu oraz wyjaśnienie, w jaki sposób może on być wykorzystany w przypadku egzaminów Cambridge English Language Assessment. Działania zmierzające do wdrożenia tego modelu w różnych częściach świata mają charakter cykliczny: w każdym cyklu wprowadzane są kolejne zmiany i adaptacje, które okazują się niezbędne w świetle uzyskiwanych danych.

W literaturze przedmiotu już od lat 90. XX wieku analizowane są różne aspekty tzw. efektu zwrotnego, jednakże rozważania te nie prowadziły do powstania spójnego modelu uwzględniającego szeroki i złożony kontekst edukacyjno-społeczny, w którym dochodzi do działań ewaluacyjnych. Opracowanie takiego właśnie modelu stanowiło cel projektu realizowanego przez grupę badaczy z Cambridge English Language Assessment. Jedną z najważniejszych teorii uczenia się, stanowiącą podstawę dla prac nad opracowaniem modelu wpływu testu przez tych badaczy, jest konstruktywizm – teoria w najbardziej adekwatny sposób opisująca konteksty, w których zachodzi testowanie. Wskazuje ona na wagę takich elementów, jak czynniki afektywne i komunikat zwrotny akcentujący mocne strony ucznia. Mają one wpływ na wzrost motywacji ucznia i lepsze efekty uczenia się.

W projekcie Cambridge English Language Assessment uwzględniono prace Bachmana z roku 1996, który jako pierwszy uznał wpływ (impact) za jedną z ważnych cech dobrego testu. Doprowadziło to do przyjęcia modelu VRIP, który obejmuje także trzy inne cechy: trafność (validity), rzetelność (reliability) oraz praktyczność (practicality) (Saville 2003).

W tym samym roku opracowano wstępny model wpływu testu. Obejmuje on cztery wskazania:

  • zaplanuj (cykliczny proces opracowywania testu);
  • wspieraj (uczestników tego procesu w jego realizacji);
  • informuj (uczestników o przebiegu procesu);
  • monitoruj i oceniaj (przebieg procesu poprzez zbieranie i analizę danych istotnych dla dalszego przebiegu procesu).

Kolejne projekty zmierzające do opracowania modelu wpływu testu wykazały konieczność wyjścia poza tradycyjny kontekst oceniania i nauczania/uczenia się, jakim jest klasa lekcyjna, i uwzględniania szerszego kontekstu edukacyjno-społecznego. Wpływ celowy stanowi kluczowy element tego poszerzonego modelu.

Koncepcja wpływu celowego (testu)

Koncepcja ta polega na opracowaniu takiego systemu oceniania, który będzie charakteryzował się możliwością pozytywnego oddziaływania na środowisko edukacyjne. System taki powinien być opracowany z uwzględnieniem wstępnie przewidywanych rezultatów testowania mogących pojawiać się w konkretnych kontekstach. Model ten obejmuje cztery aspekty: cechy testu, konteksty, rezultaty badane w czasie, metody badawcze i role badaczy.

Jedną z podstawowych cech dobrego testu jest jego trafność. Kluczowym elementem umożliwiającym określenie poziomu trafności analizowanego testu jest opracowanie modelu konstruktu, czyli teoretycznego modelu cechy badanej w procesie testowania. W przypadku testów językowych konstruktem jest badana umiejętność językowa. Jednakże opracowanie właściwego teoretycznego modelu konstruktu nie jest wystarczającym elementem umożliwiającym osiągnięcie założonych rezultatów. Istotne jest włączenie w proces opracowywania testu kryterium wpływu celowego, które uwzględnia konteksty społeczne i edukacyjne nauczania/uczenia się i wiąże się z koniecznością współpracy wszystkich uczestników procesu opracowywania testu.

W podejściu do egzaminów i testowania prezentowanym przez Cambridge English Language Assessment kontekst jest definiowany jako dynamicznie oddziałujące na siebie różnorodne elementy tworzące złożone środowisko edukacyjne. Środowisko to obejmuje skalę zjawisk makro, dziejących się kontekście krajowym czy regionalnym, i oznacza politykę edukacyjną, podejmowane reformy edukacyjne, zespół norm kulturowych i związanych z nimi oczekiwań społecznych wobec edukacji, organizację systemu edukacyjnego, zróżnicowanie geograficzne, ekonomiczne i społeczne pomiędzy regionami oraz skalę zjawisk mikro – dziejących się w kontekście lokalnym – w konkretnych szkołach, klasach, dotyczących indywidualnych uczniów i nauczycieli (Figure 1.)[2]. Kluczowym elementem tego podejścia jest przekonanie, że zależności pojawiające się w konkretnych szkołach i klasach, dotyczące konkretnych uczniów i nauczycieli nie mogą być rozpatrywane w oderwaniu od szerszego kontekstu edukacyjnego i społecznego. Najogólniej rzecz ujmując, skala różnorodności badanych zjawisk wzrasta, gdy oddalamy się od kontekstu makro, zbliżając się do kontekstu mikro (Figure 2.)[3]. Szczegółowe badania tych zależności, wykorzystujące zarówno metody ilościowe, jak i jakościowe, pozwalają określić, które czynniki ułatwiają, a które utrudniają uzyskanie pozytywnych rezultatów testowania. Niezbędne dane dotyczące kontekstu edukacyjno-społecznego testowania są pozyskiwane w wyniku współpracy między „dostawcą” egzaminów działającym na szczeblu międzynarodowym a lokalnymi „odbiorcami” tych egzaminów. Analiza tych danych dostarcza rozwiązań umożliwiających pokonanie różnego rodzaju trudności pojawiających się na poszczególnych etapach procesu opracowywania testu.

Na etapie praktycznego wdrożenia testu, w docelowych kontekstach i w założonym czasie, szczególnie ważna jest realizacja długoterminowego planu walidacyjnego. Polega ona na cyklicznym analizowaniu rzeczywistych rezultatów testowania – zamierzonych i niezamierzonych, badanie zmienności tych rezultatów w czasie, porównanie rzeczywistych rezultatów z przyjętymi założeniami i wprowadzanie odpowiednich zmian, których rezultaty są znów w ten sam sposób analizowane i weryfikowane.

Konkluzja

Najważniejszą cechą opracowanego modelu wpływu celowego (testu) jest możliwość wprowadzania zmian w celu poprawy rezultatów i zmniejszenia pojawiających się złych skutków testowania. Samo przewidywanie rezultatów i porównywanie ich z rezultatami rzeczywistymi nie jest wystarczające, jeżeli nie implikuje zmian prowadzących do poprawy rzeczywistych skutków. Dlatego też ważnym elementem procesu opracowania testu jest zaplanowanie etapu „zarządzania zmianą”, który umożliwia wprowadzanie konkretnych modyfikacji do procesu testowania.