Przeglądaj artykuły opublikowane w JOwS

W niniejszym artykule przedstawię krótko stowarzyszenie, poświęcając więcej uwagi standardom jakości w testowaniu znajomości języków obcych wypracowanym w ciągu ponad 25 lat intensywnej działalności ALTE.

Stowarzyszenie ALTE

Trzon stowarzyszenia ALTE stanowi obecnie 34 instytucji lub organizacji współpracujących na zasadzie pełnego członkostwa (Full Membership). Pełne członkostwo zarezerwowane jest dla instytucji lub organizacji, które mają swoją siedzibę w jednym z krajów Unii Europejskiej lub Europejskiego Obszaru Ekonomicznego (European Economic Area – EEA^[1]), oferujących egzaminy z języka lub języków o statusie oficjalnym w danym kraju lub regionie. Dla instytucji i organizacji spoza UE i EEA zarezerwowany jest status członka stowarzyszonego (Associate Membership). W obydwu przypadkach uzyskanie członkostwa jest obecnie uwarunkowane pozytywnym wynikiem audytu obejmującego wszystkie obszary działań egzaminacyjnych (omówione poniżej). W działaniach ALTE bierze także udział ponad 40 instytucji oraz kilkaset osób indywidualnych współpracujących na zasadzie członków afiliowanych (Institutional or Individual Affiliates) – aktualna lista instytucji członkowskich obydwu kategorii jest dostępna na stronie: www.alte.org. Stowarzyszenie ALTE jest aktywną organizacją pozarządową, współpracuje ściśle ze strukturami Unii Europejskiej oraz Rady Europy, w której pracach uczestniczy ze specjalnym statusem (Participatory Status), a także jako członek forum konsultacyjnego Europejskiego Centrum Języków Nowożytnych Rady Europy w Grazu (ECML Professional Network Forum). ALTE ma także status instytucji konsultacyjnej ONZ (Special Consultative Status).

W roku 2000 status członka stowarzyszonego ALTE uzyskał Uniwersytet Jagielloński w Krakowie kierujący wówczas pracami przygotowawczymi do wprowadzenia systemu egzaminów certyfikatowych z języka polskiego jako obcego. Od roku 2004 UJ bierze udział w pracach ALTE na zasadzie pełnego członkostwa, reprezentując w stowarzyszeniu państwowe egzaminy certyfikatowe z języka polskiego jako obcego prowadzone przez Państwową Komisję Poświadczania Znajomości Języka Polskiego jako Obcego.

Działania stowarzyszenia ALTE podporządkowane są wyznaczonym w statucie tej organizacji celom zasadniczym, tj.:

• promocja ponadnarodowej uznawalności certyfikatów językowych w Europie;
• określenie wspólnych europejskich poziomów odniesienia dla biegłości językowej;
• określenie i przestrzeganie wspólnych standardów jakości we wszystkich działaniach związanych z procesem testowania biegłości językowej;
• udział w projektach międzynarodowych oraz w wymianie doświadczeń i wiedzy profesjonalnej;
• współpraca z władzami edukacyjnymi wszystkich szczebli;
• określenie i przestrzeganie profesjonalnego kodeksu postępowania.

Formy działalności

Współpraca instytucji stowarzyszonych w ALTE może przybierać rozmaite formy. Dwa razy do roku odbywa się spotkanie robocze ALTE (ALTE Meeting) organizowane przez jedną z instytucji członkowskich, podczas którego dokonuje się przeglądu bieżących spraw organizacyjnych, prowadzone są warsztaty z dziedziny testowania biegłości językowej, pracują tematyczne grupy robocze. Te spotkania umożliwiają bezpośredni kontakt z najlepszymi specjalistami z tej dziedziny, a także udział w prestiżowych międzynarodowych projektach i inicjatywach podejmowanych przez ALTE^[2]. Spotkania robocze ALTE kończą się zwykle otwartym dla wszystkich zainteresowanych dniem konferencyjnym, podczas którego podejmowane są także lokalne kwestie związane z testowaniem biegłości językowej^[3].

W cyklu czteroletnim organizowane są międzynarodowe konferencje ALTE (ALTE International Conferences), podczas których spotykają się profesjonaliści z dziedziny oceniania biegłości językowej z całego świata. Wydawane z tej okazji zbiory referatów stanowią istotny w tej dziedzinie przegląd aktualnych kwestii i trendów^[4].

Stowarzyszenie ALTE współpracuje w szerokim zakresie z Sekcją Polityki Językowej Rady Europy. Jednym ze wspólnie podejmowanych zagadnień jest kwestia roli egzaminów językowych w procesach integrowania migrantów, innym – sprawa porównywalności poziomów biegłości językowej. Szczególnie istotne było zaangażowanie członków ALTE w pilotaż instrukcji Rady Europy na temat weryfikacji odniesienia poziomów egzaminów językowych do Europejskiego systemu opisu kształcenia językowego. Rezultaty tego pilotażu zostały przedstawione podczas zorganizowanej przez Cambridge English konferencji oraz zebrane w tomie wydanym po tym spotkaniu (Martyniuk 2010).

Stowarzyszenie ALTE jest także istotnym partnerem dla Komisji Europejskiej. Najlepszym przykładem może tu być projekt Surveylang, którego celem było zbadanie poziomu biegłości językowej młodzieży w krajach unijnych. Projekt zrealizowany został przez konsorcjum instytucji członkowskich ALTE – szczegółowe informacje na temat tego projektu można znaleźć na stronie http://www.surveylang.org/.

Dużym zainteresowaniem cieszą się oferowane od niedawna letnie kursy ALTE dla kadry zarządzającej systemami egzaminacyjnymi – ALTE Summer Testing Courses.

Kodeks postępowania ALTE

W roku 1994 stowarzyszenie ALTE podjęło decyzję o opracowaniu i przyjęciu formalnego Kodeksu postępowania, który wprowadzałby standardy jakości egzaminów oferowanych przez obecnych i przyszłych członków stowarzyszenia, a tym samym stanowił gwarancję jakości obsługi skierowaną do klientów systemów egzaminacyjnych. Kodeks określa standardy jakości procesów przygotowywania i przeprowadzania egzaminów, a także zakres odpowiedzialności instytucji oferujących egzaminy oraz użytkowników systemów egzaminacyjnych. Pełna wersja dokumentu, także w języku polskim, dostępna jest na stronie http://www.alte.org/resources.

Kodeks postępowania ALTE składa się z dwóch części. Pierwsza określa zobowiązania instytucji stowarzyszonych w ALTE, druga definiuje zakres odpowiedzialności użytkowników systemów egzaminacyjnych.

W części pierwszej określone zostały standardy obejmujące następujące cztery obszary działania:

• przygotowywanie materiałów egzaminacyjnych i przeprowadzanie egzaminów;
• interpretacja wyników egzaminów;
• zapewnianie równego traktowania zdających (fair play);
• udzielanie informacji zdającym.

Instytucje stowarzyszone w ALTE zobowiązują się zagwarantować, że w przypadku każdego z oferowanych egzaminów podawane będą informacje dotyczące:

• celu egzaminu, jego przeznaczenia i grupy użytkowników, do której jest on skierowany;
• koncepcji określającej sposób dokonywania pomiaru – na poziomie szczegółowości stosownym dla danej grupy odbiorców;
• procesu przygotowywania materiałów egzaminacyjnych;
• doboru treści egzaminacyjnych i specyfikacji sprawności podlegających sprawdzeniu;
• dostępności przykładowych testów lub próbek zadań egzaminacyjnych, arkuszy testowych, instrukcji egzaminacyjnych i raportów z wynikami egzaminu;
• procedur gwarantujących równość szans wszystkim egzaminowanym;
• warunków koniecznych do przeprowadzania egzaminów.

Aby umożliwić użytkownikom systemów egzaminacyjnych i zdającym właściwą interpretację wyników egzaminów, członkowie ALTE gwarantują:

• sprawne sporządzenie zrozumiałego raportu z wynikami egzaminu, opisującego osiągnięcia egzaminowanego w sposób czytelny i precyzyjny;
• przedstawienie procedur, według których dokonywana jest punktacja i ocena;
• w przypadku gdy nie ustala się wymagań minimalnych pozwalających na zdanie danego egzaminu, podanie informacji pomagających użytkownikom określić taki próg w sytuacji, gdy uznają to za konieczne;
• opracowanie informacji ostrzegającej przed możliwymi i dającymi się przewidzieć nadużyciami związanymi z nazbyt wąską interpretacją wyników danego egzaminu.

Instytucje stowarzyszone w ALTE zobowiązują się do zapewnienia równych szans wszystkim zdającym, bez względu na ich płeć, rasę, pochodzenie etniczne, niepełnosprawność itp. Oznacza to, że członkowie ALTE powinni zapewnić:

• weryfikację zadań i materiałów egzaminacyjnych w celu wyeliminowania drażliwych zagadnień i treści;
• wprowadzenie procedur zapewniających, że zróżnicowane osiągnięcia zdających są wyłącznie wynikiem umiejętności okazanych podczas egzaminu, a nie czynników zewnętrznych, takich jak: język ojczysty, płeć, wiek czy pochodzenie etniczne;
• jeśli tylko jest to możliwe, uwzględnienie w procedurach przeprowadzania egzaminów zdających o specjalnych potrzebach (niepełnosprawnych).

Członkowie ALTE zobowiązują się także do udzielania użytkownikom systemów egzaminacyjnych i zdającym pełnych informacji dotyczących:

• sposobu dokonywania wyboru odpowiedniego rodzaju i poziomu egzaminu;
• zakresu egzaminu, typów zadań egzaminacyjnych, rodzajów poleceń, stosownych strategii zdawania egzaminu;
• praw zdających do wglądu w stosowane wcześniej materiały egzaminacyjne, do powtarzania całości lub części egzaminu, do powtórnej oceny testu i do weryfikacji wyników;
• okresu przechowywania wyników egzaminu i reguł ich udostępniania osobom trzecim.

W drugiej części Kodeksu postępowania ALTE określona została odpowiedzialność użytkowników systemów egzaminacyjnych. Na równi z prowadzącymi egzaminy mają oni określone zobowiązania względem zdających i powinni przestrzegać wysokich standardów jakości postępowania. Kodeks ALTE zobowiązuje ich do tego, aby:

• korzystali z egzaminów zgodnie z ich celem i przeznaczeniem dla określonej grupy odbiorców;
• we właściwy sposób interpretowali wyniki egzaminów;
• wybierali egzaminy, których procedury zapewniają maksymalną równość szans wszystkich zdających, bez względu na ich rasę, płeć, pochodzenie etniczne, stopień sprawności itp.;
• stosowali podobne standardy informacyjne jak te, które określono dla członków stowarzyszenia ALTE.

Zestaw wymagań minimalnych ALTE

Zestaw wymagań minimalnych określających jakość egzaminów językowych powstał w wyniku długotrwałych konsultacji wewnętrznych. Chodziło o określenie rygorów jakościowych, które byłyby możliwe do przestrzegania przez wszystkie instytucje stowarzyszone – zarówno te, które testują setki tysięcy kandydatów w każdej sesji, jak i te, których skala działalności nie przekracza setki kandydatów rocznie. Otrzymany w ten sposób zestaw stanowi minimalny próg dobrej jakości oferowanych usług. Obecnie każda z instytucji członkowskich zobowiązana jest raz na pięć lat poddać się zewnętrznemu audytowi ALTE i udokumentować przestrzeganie wszystkich zamieszczonych poniżej 17 wymagań minimalnych. Pozytywny wynik audytu oznacza przyznanie danemu egzaminowi lub systemowi egzaminów prestiżowego znaku jakości ALTE – ALTE Q-Mark.

Opracowywanie materiałów egzaminacyjnych

1. Egzamin jest oparty na jasno określonej podstawie teoretycznej, np. na modelu kompetencji komunikacyjnej.

2. Jasno określone są: cel egzaminu, jego przeznaczenie i grupa użytkowników, do której jest on skierowany.

3. Kryteria doboru i kwalifikacje kadry przygotowującej egzaminy są jasno określone, a opracowywanie, ewaluacja i weryfikacja materiałów egzaminacyjnych odbywają się przy udziale właściwych ekspertów.

4. Poszczególne wersje danego egzaminu są porównywalne i spójne co do treści, sposobu oceniania, punktacji i przedziałów ocen.

5. W przypadku, gdy egzamin odnoszony jest do zewnętrznego systemu poziomów (np. Europejskiego systemu opisu kształcenia językowego), możliwe jest przedstawienie uzasadnienia wiarygodności takiego odniesienia.

Przeprowadzanie egzaminów

6. Centra egzaminacyjne wybierane są według jasno określonych, publicznie dostępnych kryteriów i procedur.

7. Materiały egzaminacyjne dostarczane są do autoryzowanych centrów egzaminacyjnych w sposób zapewniający ich bezpieczny transport oraz dotarcie na miejsce na czas i w należytym stanie, obieg wszystkich dokumentów jest przejrzysty, a poufność wszystkich procedur gwarantowana.

8. Przeprowadzanie egzaminu zabezpieczane jest odpowiednim systemem komunikacji awaryjnej (telefon, Internet itp.).

9. Dane dotyczące wyników egzaminu, ocen i certyfikatów są odpowiednio chronione, zgodnie z wymogami lokalnych zasad ochrony danych, a zdający są informowani o przysługujących im prawach dostępu do tych danych.

10. Procedury przeprowadzania egzaminów uwzględniają zdających o specjalnych potrzebach (niepełnosprawnych).

Ocenianie i punktacja

11. System i sposób punktowania i oceniania jest odpowiednio rzetelny i precyzyjny, stosownie do celu i charakteru egzaminu.

12. Zasady oceniania są określone i udokumentowane, a dane dotyczące jakości pracy oceniających wypowiedzi pisemne i ustne są gromadzone i analizowane.

Analiza testów

13. Gromadzone i analizowane są dane dotyczące odpowiedniego i reprezentatywnego wyboru zdających – w celu upewnienia się, że ich osiągnięcia są wyłącznie wynikiem umiejętności okazanych podczas egzaminu, a nie czynników zewnętrznych, takich jak: język ojczysty, płeć, wiek czy pochodzenie etniczne.

14. Dane dotyczące analizy egzaminu na poziomie jednostek testujących (poziom trudności, wartość różnicująca, rzetelność, standardowe odchylenie) są gromadzone i analizowane na podstawie odpowiedniej próby zdających.

Komunikacja

15. Wyniki egzaminu przekazywane są centrom egzaminacyjnym i zdającym w sposób czytelny i sprawny.

16. Informacje na temat właściwego kontekstu, celu i sposobu korzystania z egzaminu, jak również specyfikacja jego treści i dane dotyczące rzetelności pomiaru dostępne są dla wszystkich zainteresowanych.

17. Wyniki egzaminu opatrzone są informacją na temat sposobów ich interpretacji i zastosowania.

Podsumowanie

Standardy jakości stowarzyszenia ALTE zostały wypracowane z myślą o egzaminach biegłości językowej. Sądzę jednak, że mogą one posłużyć do badania jakości egzaminów oferowanych w każdej innej dziedzinie.

Bibliografia

Galaczi, E.D., Weir, C.J. (red.) (2013) Exploring Language Frameworks. Proceedings of the ALTE Krakow Conference, July 2011. Studies in Language Testing 36. Cambridge University Press.

Martyniuk, W. (red.) (2010) Aligning Tests with the CEFR. Reflections on using the Council of Europe’s draft Manual. Studies in Language Testing 33. Cambridge: University Press.