Standardy jakości systemów testowania znajomości języków obcych stowarzyszenia ALTE

Numer JOwS: 
str. 58

Założone w roku 1989 z inicjatywy uniwersytetów w Cambridge i w Salamance stowarzyszenie ALTE (The Association of Language Testers in Europe) cieszy się obecnie niekwestionowanym autorytetem w dziedzinie testowania znajomości języków obcych, a uzyskanie wyróżnienia ALTE Q-Mark, poprzedzone wnikliwym audytem jakościowym, stanowi potwierdzenie najwyższej jakości usług certyfikacyjnych oferowanych przez daną instytucję.

Członkowie ALTE zobowiązują się także do udzielania użytkownikom systemów egzaminacyjnych i zdającym pełnych informacji dotyczących:

  • sposobu dokonywania wyboru odpowiedniego rodzaju i poziomu egzaminu;
  • zakresu egzaminu, typów zadań egzaminacyjnych, rodzajów poleceń, stosownych strategii zdawania egzaminu;
  • praw zdających do wglądu w stosowane wcześniej materiały egzaminacyjne, do powtarzania całości lub części egzaminu, do powtórnej oceny testu i do weryfikacji wyników;
  • okresu przechowywania wyników egzaminu i reguł ich udostępniania osobom trzecim.

W drugiej części Kodeksu postępowania ALTE określona została odpowiedzialność użytkowników systemów egzaminacyjnych. Na równi z prowadzącymi egzaminy mają oni określone zobowiązania względem zdających i powinni przestrzegać wysokich standardów jakości postępowania. Kodeks ALTE zobowiązuje ich do tego, aby:

  • korzystali z egzaminów zgodnie z ich celem i przeznaczeniem dla określonej grupy odbiorców;
  • we właściwy sposób interpretowali wyniki egzaminów;
  • wybierali egzaminy, których procedury zapewniają maksymalną równość szans wszystkich zdających, bez względu na ich rasę, płeć, pochodzenie etniczne, stopień sprawności itp.;
  • stosowali podobne standardy informacyjne jak te, które określono dla członków stowarzyszenia ALTE.

Zestaw wymagań minimalnych ALTE

Zestaw wymagań minimalnych określających jakość egzaminów językowych powstał w wyniku długotrwałych konsultacji wewnętrznych. Chodziło o określenie rygorów jakościowych, które byłyby możliwe do przestrzegania przez wszystkie instytucje stowarzyszone – zarówno te, które testują setki tysięcy kandydatów w każdej sesji, jak i te, których skala działalności nie przekracza setki kandydatów rocznie. Otrzymany w ten sposób zestaw stanowi minimalny próg dobrej jakości oferowanych usług. Obecnie każda z instytucji członkowskich zobowiązana jest raz na pięć lat poddać się zewnętrznemu audytowi ALTE i udokumentować przestrzeganie wszystkich zamieszczonych poniżej 17 wymagań minimalnych. Pozytywny wynik audytu oznacza przyznanie danemu egzaminowi lub systemowi egzaminów prestiżowego znaku jakości ALTE – ALTE Q-Mark.

Opracowywanie materiałów egzaminacyjnych

1. Egzamin jest oparty na jasno określonej podstawie teoretycznej, np. na modelu kompetencji komunikacyjnej.

2. Jasno określone są: cel egzaminu, jego przeznaczenie i grupa użytkowników, do której jest on skierowany.

3. Kryteria doboru i kwalifikacje kadry przygotowującej egzaminy są jasno określone, a opracowywanie, ewaluacja i weryfikacja materiałów egzaminacyjnych odbywają się przy udziale właściwych ekspertów.

4. Poszczególne wersje danego egzaminu są porównywalne i spójne co do treści, sposobu oceniania, punktacji i przedziałów ocen.

5. W przypadku, gdy egzamin odnoszony jest do zewnętrznego systemu poziomów (np. Europejskiego systemu opisu kształcenia językowego), możliwe jest przedstawienie uzasadnienia wiarygodności takiego odniesienia.

Przeprowadzanie egzaminów

6. Centra egzaminacyjne wybierane są według jasno określonych, publicznie dostępnych kryteriów i procedur.

7. Materiały egzaminacyjne dostarczane są do autoryzowanych centrów egzaminacyjnych w sposób zapewniający ich bezpieczny transport oraz dotarcie na miejsce na czas i w należytym stanie, obieg wszystkich dokumentów jest przejrzysty, a poufność wszystkich procedur gwarantowana.

8. Przeprowadzanie egzaminu zabezpieczane jest odpowiednim systemem komunikacji awaryjnej (telefon, Internet itp.).

9. Dane dotyczące wyników egzaminu, ocen i certyfikatów są odpowiednio chronione, zgodnie z wymogami lokalnych zasad ochrony danych, a zdający są informowani o przysługujących im prawach dostępu do tych danych.

10. Procedury przeprowadzania egzaminów uwzględniają zdających o specjalnych potrzebach (niepełnosprawnych).

Ocenianie i punktacja

11. System i sposób punktowania i oceniania jest odpowiednio rzetelny i precyzyjny, stosownie do celu i charakteru egzaminu.

12. Zasady oceniania są określone i udokumentowane, a dane dotyczące jakości pracy oceniających wypowiedzi pisemne i ustne są gromadzone i analizowane.

Analiza testów

13. Gromadzone i analizowane są dane dotyczące odpowiedniego i reprezentatywnego wyboru zdających – w celu upewnienia się, że ich osiągnięcia są wyłącznie wynikiem umiejętności okazanych podczas egzaminu, a nie czynników zewnętrznych, takich jak: język ojczysty, płeć, wiek czy pochodzenie etniczne.

14. Dane dotyczące analizy egzaminu na poziomie jednostek testujących (poziom trudności, wartość różnicująca, rzetelność, standardowe odchylenie) są gromadzone i analizowane na podstawie odpowiedniej próby zdających.

Komunikacja

15. Wyniki egzaminu przekazywane są centrom egzaminacyjnym i zdającym w sposób czytelny i sprawny.

16. Informacje na temat właściwego kontekstu, celu i sposobu korzystania z egzaminu, jak również specyfikacja jego treści i dane dotyczące rzetelności pomiaru dostępne są dla wszystkich zainteresowanych.

17. Wyniki egzaminu opatrzone są informacją na temat sposobów ich interpretacji i zastosowania.

Podsumowanie

Standardy jakości stowarzyszenia ALTE zostały wypracowane z myślą o egzaminach biegłości językowej. Sądzę jednak, że mogą one posłużyć do badania jakości egzaminów oferowanych w każdej innej dziedzinie.

Bibliografia

Galaczi, E.D., Weir, C.J. (red.) (2013) Exploring Language Frameworks. Proceedings of the ALTE Krakow Conference, July 2011. Studies in Language Testing 36. Cambridge University Press.

Martyniuk, W. (red.) (2010) Aligning Tests with the CEFR. Reflections on using the Council of Europe’s draft Manual. Studies in Language Testing 33. Cambridge: University Press.



[1] EEA obejmuje 28 krajów UE oraz Islandię, Liechtenstein i Norwegię.

[2] Przykładem może tu być projekt TiPS – Testing in Polish and Slovene, finansowany z programu Lingua 2 Komisji Europejskiej w latach 2002-2004. Rezultatem koordynowanego przez UJ projektu była publikacja w krakowskim wydawnictwie Universitas serii materiałów ALTE zaadaptowanych do testowania biegłości w języku polskim i słoweńskim.

[3] W roku 2004 takie spotkanie odbyło się na Uniwersytecie Jagiellońskim w Krakowie.

[4] W roku 2010 taka międzynarodowa konferencja odbyła się na Uniwersytecie Jagiellońskim w Krakowie (zob. Galaczi i Weir 2013).