Rzetelność i trafność egzaminów Cambridge English

Numer JOwS: 
str. 62
Fot. Magazyn testów Cambridge English. Źródło: CELA

Egzaminy i testy językowe tworzone przez Cambridge English mogą być różnie wykorzystywane: „lokalnie”przez nauczycieli, np. dla zbadania postępów uczniów, w celach diagnostycznych (umożliwiających np. planowanie lekcji), lub też na szeroką skalę, jako egzaminy o charakterze doniosłym, których wyniki mogą być uwzględniane w rekrutacji na uczelnie czy przez pracodawców. Zespół Cambridge English Language Assessment, zajmujący się konstruowaniem tego typu egzaminów, ma na celu tworzenie testów odpowiadających powszechnemu zapotrzebowaniu i stanowiących trafne i rzetelne narzędzie ewaluacyjne. Tekst w języku angielskim jest poprzedzony krótką syntezą w języku polskim, opracowaną przez dr Agnieszkę Dryjańską, redaktor JOwS.

Pobierz artykuł w pliku PDF

Tworzenie przez Cambridge English wysokiej jakości egzaminów, które w wiarygodny sposób sprawdzają umiejętności językowe kandydatów, nie jest związane ze stosowaniem jakiejś „tajemniczej receptury”, ale stanowi skomplikowany i wieloetapowy proces. Wymaga on starannych badań, testowania próbnego (wstępnego) oraz analizy rezultatów. Niniejszy artykuł prezentuje wybrane procedury tego procesu ze szczególnym uwzględnieniem etapów opracowywania zadań egzaminacyjnych i systemu zapewniającego wysoką jakość oceniania kompetencji produkcyjnych – mówienia i pisania.

Etap opracowywania zadań egzaminacyjnych

Zanim egzamin trafi do rąk kandydata, musi przebyć dwuletnią drogę przygotowania, począwszy od etapu zamówienia wstępnej wersji zadań egzaminacyjnych, aż do etapu redagowania ich ostatecznej wersji. Ten proces ma na celu przede wszystkim zapewnienie porównywalności różnych wersji określonych komponentów tego samego testu. W tym celu wybierane są osoby odpowiedzialne za każdy z komponentów testu (ang. assessment manager), współpracujące z ekspertami zewnętrznymi (ang. chair), kontrolujące pracę autorów i konsultantów poszczególnych jednostek testu, a także zajmujące się etapem ponownej weryfikacji opracowanych zadań.

Opracowanie jednostek egzaminacyjnych odbywa się z wykorzystaniem poradnika (Item-Writer Guidelines) zawierającego wskazania dla autorów: informacje o zasadach konstruowania zadań testowych, przykłady jednostek testowych oraz wybór tematyki tekstów. Ten poradnik zawiera także wskazówki usprawniające poszukiwanie tekstów źródłowych oraz niezbędne informacje z Europejskiego systemu opisu kształcenia językowego (ESOKJ) odnośnie do konkretnego poziomu w zakresie wymagań gramatycznych czy leksykalnych.

Zadania, które zostaną przyjęte, po przejściu procesu edytorskiego są poddawane kluczowej procedurze – testowaniu próbnemu na reprezentatywnej dla danego egzaminu populacji uczniów. Ten etap dostarcza informacji zwrotnych dotyczących poziomu trudności pytań oraz tego, w jaki sposób badane zadania pozwalają rozróżnić zdających o wyższym i niższym poziomie. Te dane statystyczne, w połączeniu z oceną ekspertów, są brane pod uwagę przy dalszym opracowywaniu testu. Materiały, które finalnie odpowiadają wszystkim wymaganiom (odpowiednio opisane, z uwzględnieniem typu zadania, tematyki i długości tekstów czy wieku egzaminowanych) trafiają do „banku jednostek testowych” – bazy danych, z której bezpośrednio korzystają twórcy konkretnych egzaminów.

Zapewnienie wysokiej jakości oceniania

Zadania umożliwiające obiektywną ocenę to te niewymagające oceny eksperta: można je oceniać albo automatycznie, albo z wykorzystaniem klucza zawierającego wszystkie dopuszczone odpowiedzi. Ten typ oceniania jest wykorzystywany w zadaniach sprawdzających kompetencje receptywne: czytanie, słuchanie oraz test gramatyczno-leksykalny (ang. Use of English).

Najbardziej złożonym zagadnieniem w zakresie oceniania jest zapewnienie rzetelnej oceny kompetencji produkcyjnych. Głównie z myślą o tym właśnie rodzaju oceniania opracowano specjalny system zapewniający jakość oceniania – Quality assurance for marking (QA).

Skale ocen wykorzystywane w ocenianiu kompetencji produkcyjnych: pisania i mówienia, są tworzone w odniesieniu do zaleceń ESOKJ przez ekspertów mających bogate doświadczenie w nauczaniu języka angielskiego. Egzaminatorzy, którzy zajmują się ocenianiem kompetencji produkcyjnych kandydatów, są poddawani wieloetapowemu procesowi szkoleń i ewaluacji umiejętności egzaminacyjnych. Jest to szczególnie trudne w przypadku oceniania wypowiedzi ustnych, gdyż wymaga wyszkolenia wielkiej liczby egzaminatorów na całym świecie (20 tys.). W celu zapewnienia odpowiedniej jakości szkolenie tych egzaminatorów ma charakter kaskadowy – lider regionalny nadzoruje pewną liczbę egzaminatorów, z których każdy nadzoruje kolejną grupę dobraną już w mniejszych okręgach itd.

W przypadku wypowiedzi pisemnych liczba oceniających jest mniejsza, gdyż mniej jest ośrodków centralnych, w których oceniane są przesłane prace, stąd proces szkolenia i kontroli jest prostszy.

Szkolenie egzaminatorów polega na dostarczeniu im odpowiednich materiałów o charakterze zarówno merytorycznym, jak i organizacyjnym. W przypadku wypowiedzi ustnych i pisemnych udostępniane są dwa zestawy materiałów audiowizualnych: pierwszy szkoleniowy, drugi sprawdzający. Certyfikat dopuszczający do egzaminowania otrzymują tylko te osoby, których oceny prezentowanych wypowiedzi mieszczą się w zakresie ustalonym przez ekspertów.

Podsumowując, egzaminy Cambridge English osiągają wysoki poziom rzetelności i trafności dzięki czasochłonnej i wieloetapowej procedurze tworzenia zadań testowych. Niezwykle ważne jest zaangażowanie w ten proces ekspertów mających nie tylko wiedzę teoretyczną na temat konstruowania testów, ale także bogate doświadczenie w nauczaniu języka angielskiego. Ostatnim omawianym elementem istotnie wpływającym na zapewnienie jakości procesu egzaminowania proponowanego przez Cambridge Assessment jest staranne szkolenie egzaminatorów, szczególnie tych, którzy są odpowiedzialni za ocenianie wypowiedzi pisemnych i ustnych.

***

Ensuring validity and reliability in large-scale examinations. Aspects of the Cambridge English approach

Tests are produced to meet particular needs and need to be fit-for-purpose in the contexts they serve. They may be set locally, for example by a teacher to measure progress and provide diagnostic information for lesson planning. Or they may be part of large-scale assessments, which will be used for high-stakes decision-making such as selection for further study, employment or migration. An exam board like Cambridge English Language Assessment, producing large-scale assessments, will strive to develop tests which stand up to public scrutiny and fulfil their purpose as a broad-based measurement tool in a valid and reliable manner, over time.

Delivering a language exam which is a thorough and fair test of the language skills and abilities of the candidates is a complicated and multi-faceted process, requiring careful research, trial and analysis, with ongoing commitment through all phases of implementation. The quality of Cambridge English exams is less a “secret recipe” than a painstaking series of processes which reflect a deep engagement with the research field and a rigorous approach to practical detail. This article selectively describes some of the practical procedures which are followed to ensure that a Cambridge English exam tests what it is supposed to test and provides reliable results. These descriptions focus on the question paper production process and the quality assurance systems for marking the productive skills, Writing and Speaking.

The question paper production (QPP) process

When students sit a Cambridge English exam, the papers presented to them will have taken up to two years to produce, from the commissioning of draft materials to the production of the final question papers (whether paper – or computer-based). The QPP process works to ensure comparability across test versions, one of the essential features of reliable certification. For each of the test components (e.g. Cambridge English: First Listening), QPP is managed by an Assessment Manager working with an external expert, called a Chair, to lead a team of item writers and consultants within a yearly planning and review cycle.