We zijn eind mei en in onderwijs is het nu echt wel stilaan de tijd van summatief evalueren, wat vaak de vorm van examens aanneemt. Een tweet van Casper kwam echter te laat voor mijn eigen examen over evalueren. Mijn collega’s en ik dienden onze examens maandag al in. Maar het is een te mooi voorbeeld om te laten liggen.

Bekijk even de volgende vraag:

Vandaag het examen Nederlands op de havo. Pardon, het was wiskunde A. https://t.co/wPKFdeEAC4 pic.twitter.com/PdUqnx1B9B

— Casper Hulshof (@CasperHuls) May 24, 2018

De opmerking van Casper maakt al veel duidelijk wat je als probleem zou kunnen zien bij deze vraag, maar laten we even de vier kwaliteitscriteria bekijken die mijn eigen studenten moeten kunnen toepassen.

1. Validiteit: dit is het antwoord op de vraag of je wel meet wat je wilt meten?
2. Betrouwbaarheid: in welke mate meet je objectief wat je wilt meten?
3. Transparantie: weet de leerling of student hoe en op welke doelen hij of zij zal beoordeeld worden
4. Hanteerbaarheid of efficiëntie.

Je zou je nu kunnen denken dat er enkel of vooral een probleem met validiteit is. Meet dit examen wat je wil meten? Deze vraag is echter moeilijker te beantwoorden omdat dit steeds van de doelen afhangt. Als een doel dat het examen wil meten, is hoe goed leerlingen informatie uit een tekst kunnen halen om een probleem op te kunnen lossen, dan is dit wellicht niet een zeer slechte vraag. Al is dan de vraag wel meer gericht op begrijpend lezen dan op wiskundige berekeningen en kun je je afvragen of dit wel nog wiskunde mag heten of eerder probleemoplossend denken. Deze doelen duidelijk communiceren heeft te maken met het criterium van transparantie.

Die talige gerichtheid zorgt volgens mij vooral voor problemen met het tweede criterium: betrouwbaarheid. In de reacties op de tweet van Casper viel al snel Dyslexie. En het klopt, leerlingen met dyslexie krijgen vaak extra tijd om dergelijke toetsen op te lossen. Maar tegelijk ga je net door het grote talige element in de vraag leerlingen die meer moeite hebben met taal of lezen gaan benadelen waarbij je achteraf niet kan zeggen of ze de vraag slecht beantwoord hebben door hun taalproblemen of omdat ze slecht zijn in wiskunde. Tegelijk reageerden enkele tweeps op Casper dat ze met zulke vragen wel goed zouden scoren op wiskunde als alpha’s, maar dat is nog niet zeker. Je hebt ook nog steeds wiskunde nodig om het vraagstuk op te lossen.

Bij het opstellen van bijvoorbeeld multiple choice vragen kijken we zelf met ons team altijd na – of beter laten we door een collega met een frisse blik nakijken – hoe talig ons examen is. Combinaties van negaties, antwoorden die schuil gaan in kleine woordjes,… kunnen er voor zorgen dat het examen meer een test begrijpend lezen is dan wat we effectief willen meten.

Dit zal nooit de enige vraag van het examen geweest zijn en wellicht/hopelijk zijn de andere vragen meer eenduidig wiskunde en is deze vraag gemaakt om te kijken hoe ver iemand kan springen. Dit relativeert voor een stuk de voorgaande opmerkingen.

Tot slot wel een bedenking: dergelijke vragen komen vaak voor in testen zoals PISA in hun doel om los te staan van nationale curricula. Daarom is elke PISA-test ook voor een stuk een test van begrijpend lezen. Laten onze Vlaamse leerlingen in PIRLS net hier slecht op scoren… Beloofd weinig goeds voor de toekomst op dergelijke testen.