Postup NÚCEM-u pri hodnotení matematického testu v tohtoročnom Testovaní 9 vyvolal vlnu nevôle medzi učiteľmi a žiakmi. Pokúsim sa stručne vysvetliť niektoré základné princípy teórie školských testov, z ktorých vyplýva, že postup NÚCEM-u bol zbytočný, kontraproduktívny a z odborného hľadiska nesprávny.
Stručná rekapitulácia pre tých, ktorí túto „kauzu” nezachytili: pri vyhodnocovaní tohtoročného Testovania 9 sa ukázalo, že tri úlohy (z dvadsiatich) v matematickom teste mali nízku úspešnosť a vyššiu neriešenosť. Pracovníci NÚCEM-u sa rozhodli kvôli tomu uvedené tri úlohy z testu anulovať, a to tak, že všetkým deviatakom za ne automaticky pripísali body. Pedagógovia na tento krok zareagovali dosť kriticky. Časť učiteľov mala pocit, že vo vyhodnotení sú chyby. Až dodatočne sa dozvedeli, že išlo o zámernú zmenu hodnotenia zo strany NÚCEM-u. Ďalší právom namietali, že žiaci, ktorí vyriešili niektoré z týchto úloh správne, sú úpravou hodnotenia poškodení. No a veľká časť učiteľov podozrieva NÚCEM, že cieľom ich kroku bolo umelo zdvihnúť úspešnosť matematického testu, ktorá by inak bola „nežiaduco“ nízka.
V tejto súvislosti sa vynára niekoľko otázok: bola nízka úspešnosť a vyššia neriešenosť troch otázok naozaj problémom? Bolo potrebné upravovať hodnotenie? Ak áno, zvolil sa správny postup? Aké boli iné možnosti?
Aby sme na tieto otázky mohli odpovedať, musíme najskôr nájsť odpoveď na jednu dôležitú otázku: chce byť Testovanie 9 overovacím testom (testom absolútneho výkonu) alebo rozlišovacím testom (testom relatívneho výkonu)? Tento fakt má zásadný vplyv na to, ako pri tvorbe a vyhodnocovaní testu narábame s položkami, ktoré majú príliš vysokú alebo príliš nízku úspešnosť.
1. Ako by sa malo postupovať s troma príliš náročnými úlohami v prípade, keby Testovanie 9 bolo overovacím testom?
V prvom rade by sa malo preskúmať, či otázky skutočne boli v súlade s kurikulom a s výkonovými štandardmi. Ak neboli, takéto položky nemali v teste čo robiť a bola by to chyba autorov testu. V takomto prípade by možno bolo zmysluplné položky anulovať. Určite by však bol vhodnejší iný spôsob, než zvolil NÚCEM. Úlohy by mali byť vyškrtnuté z testu, nikomu by sa za ne nemali započítať žiadne body a mal by sa znížiť maximálny počet bodov. Takýmto postupom by nedošlo k umelému zvýšeniu celkovej priemernej úspešnosti a počet žiakov s upraveným skóre by bol minimálny. Títo žiaci by neboli vyradením úloh nijako poškodení, pretože pri overovacom teste sa výsledky žiakov navzájom neporovnávajú (pozri tabuľku na ďalšej strane). Ak by sa však ukázalo, že otázky boli plne v súlade s kurikulom a štandardmi, potom sa s nimi nemalo robiť nič. Jednoducho odhalili isté časti učiva, ktoré sme síce plánovali žiakov naučiť, no v praxi sa nám to nepodarilo. To však rozhodne nie je dôvod na zmenu hodnotenia, ktoré iba objektívne odráža úroveň vedomostí žiakov v daných oblastiach. Malo by sa však niečo urobiť buď s kurikulom, ktoré je príliš ambiciózne a preplnené, alebo s hodinovou dotáciou, ktorá mu nezodpovedá, alebo s metódami vyučovania. Určite však nie so samotnými úlohami. Poslov zlých správ netreba zabíjať, treba im načúvať…
2. Predpokladajme teraz, že Testovanie 9 chce byť rozlišovacím testom.
V takom prípade by sa v ňom také ťažké otázky vôbec nemali objaviť. Bola by to konštrukčná chyba testu. (Mimochodom, ťažko pochopiteľná, ak boli úlohy vopred pilotované, ako tvrdili predstavitelia NÚCEM-u.) Ak by sa to však už stalo, rozhodne by bolo najrozumnejšie nemeniť ich hodnotenie. Prečo? Pretože aj keď má položka úspešnosť iba 10 %, predsa len aspoň trochu rozlišuje – odlíšila aspoň tých 10 % najlepších, ktorí ju vyriešili, aj keď všetkých ostatných respondentov „hodila do jedného vreca“. Ak za ňu dáme všetkým bod, vyrobíme tým položku, ktorá nediskriminuje (nerozlišuje) ani trochu, teda z hľadiska rozlišovacieho testu tú najhoršiu možnú položku. Ak by sme sa teda na Testovanie 9 pozerali ako na rozlišovací test, bol krok NÚCEM-u kontraproduktívny: z troch slabo rozlišujúcich položiek vyrobili zmenou hodnotenia tri vôbec nerozlišujúce položky. Zbytočne tak celkovú rozlišovaciu schopnosť testu ešte viac znížili a zhoršili tak jeho (aj tak už dosť slabú) použiteľnosť pre účely prijímacích skúšok.
Možno si kladiete otázku, prečo sme zbytočne uvažovali aj o rozlišovacích, aj o overovacích testoch a neskúmali sme iba ten prípad, ktorý sa vzťahuje na Testovanie 9. Odpoveď je jednoduchá: Testovanie 9 je akýmsi podivuhodným hybridom oboch týchto typov. Na jednej strane sú stredné školy zákonom nútené, aby jeho výsledky zohľadňovali v prijímacom konaní, čo je možné iba pri rozlišovacom teste. Na druhej strane sa každoročne na tlačových konferenciách robia z výsledkov Testovania 9 závery o úrovni vzdelávania v SR, čo je možné iba pri overovacom teste. Pri rozlišovacom teste je to nezmyselné, pretože ten musí byť zámerne konštruovaný tak, aby jeho úspešnosť bola okolo 50 – 60 %. A ak si myslíte, že v našich ekonomických podmienkach je rozumným riešením zabiť dve muchy jednou ranou a vytvoriť akýsi univerzálny „overovaco-rozlišovací“ test, musím vás sklamať: z mnohých principiálnych dôvodov to nie je možné. Žiadny test nemôže byť súčasne dobrým rozlišovacím aj dobrým overovacím testom. Aj z toho mála, čo sme tu uviedli, je zrejmé, že overovací test musí byť konštruovaný a vyhodnocovaný inak ako rozlišovací. Snaha vytvoriť jeden test pre oba účely musí nutne skončiť jediným spôsobom: vytvorením testu nevhodného na oboje, čo je, žiaľ, prípad nášho Testovania 9.
Takže, aby som to zhrnul: v danej situácii bolo najrozumnejšie neurobiť vôbec nič. Ponechať tri úlohy tak, ako dopadli, a nemeniť hodnotenie. A radšej sa otvorene a dôkladne porozprávať o tom, čo tie tri problematické úlohy vlastne testovali, či naozaj boli v súlade s kurikulom a štandardmi, prečo ich asi žiaci nezvládli, čo sa s tým bude v budúcnosti robiť, kto tvoril testy, či autori testu rozumejú princípom tvorby školských testov (a nielen matematike), či boli otázky pilotované, no najmä: či má byť Testovanie 9 v budúcnosti overovacím alebo rozlišovacím testom. To všetko by bolo bývalo omnoho užitočnejšie ako neuvážená zmena hodnotenia, ktorá mnoho učiteľov a žiakov nahnevala a nič pozitívne nepriniesla. A odvolávanie sa na to, že takýto postup používajú aj renomované zahraničné inštitúcie, je zavádzajúce. Príliš ťažké, príliš ľahké a často vynechávané úlohy sa síce naozaj z testov škrtajú, avšak predovšetkým vo fáze ich pilotovania a zostavovania testu. Dodatočné vyraďovanie takýchto úloh počas vyhodnocovania môže mať opodstatnenie iba vtedy, ak sa používajú celkom iné metódy hodnotenia testov (napr. IRT a iné parametrické modely). Aplikovať takýto postup v rámci tzv. klasického modelu používaného u nás je nenáležité.