Fijn dat Paul Ket een stuk heeft geschreven over Toetstechniek-voor-docenten-1. Het is een helder stuk en ik kan me er voor een groot deel in vinden, alleen mis ik een aantal noodzakelijke stappen vooraf.
Paul Ket noemt onder het kopje ‘Voor de afname’ dat leerlingen hun naam op het blaadje schrijven. Is dat alles? Bij de fase ‘Voor de afname’ hoort toch veel meer? Feitelijk is dit de belangrijkste fase van een toets. De toets moet namelijk zorgvuldig worden samengesteld en de vragen moeten in heldere taal op papier worden gezet. Juist deze fase zorgt ervoor of je leerlingen eerlijk de maat neemt.

Na afloop van een proefwerk hoor je leerlingen vaak uitroepen: “Oooh, was dat de bedoeling van de vraag. Ik snapte die vraag niet. Als ik dat had geweten, dan wist ik het wel.
Communicatieproblemen tussen de toetsenproducerende docenten en de toetsenmakende leerlingen komen regelmatig voor en zelfs bij het schriftelijk examen krijgen leerlingen verwarrende vragen voorgelegd.
Toetsen worden vaak geproduceerd onder tijdsdruk en de docent weet precies wat hij bedoelt. Het aantal ‘cues’ dat hij nodig heeft om zelf te snappen wat zo verschrikkelijk logisch is in de vraagsteling, is meestal gering. Hij leest in veel gevallen meer dan hij schreef. In veel gevallen levert dat geen grote botsingen op. Het verschil in positie tussen docent en leerling maakt dat een docent niet behoeft te overdenken of de vraag wel helder genoeg was voor de leerlingen. Zelf niet als een groot deel van de klas de vraag foutief heeft beantwoord. Het ligt aan het reflectief vermogen aan een docent of hij bij veel fouten overdenkt of het misschien aan de vraagstelling heeft gelegen. Bovendien zijn er leerlingen die langere tijd door een bepaalde docent zo getraind worden dat ze bijna automatisch bedenken wat de docent zou kunnen bedoelen. Bij die strategisch goed onderlegde leerlingen kan het er wel toe leiden dat ze soms niet hebben kunnen laten zien wat ze waard zijn. Dat is dan toch wel jammer.

We toetsen om te zien of leerlingen leerstof en vaardigheden in voldoende mate beheersen. We controleren of onze lessen zijn begrepen, waar de hiaten zitten en we beoordelen, we nemen leerlingen de maat. Met het afnemen van toetsen houden we ons dus bezig met plaatsing (op het juiste niveau), voortgang en controle (bereik ik mijn doelen), diagnose, determinatie en bevordering. Voor leerlingen hangt er dus heel veel af van het maken van een toets. Vandaar dat het mij vreemd overkomt dat er soms lichtzinnig wordt omgesprongen met het maken van proefwerken. Juist het proces dat vooraf gaat aan het maken van de toets, het formuleren van de toets zelf en de controle of de toetst doet wat wordt beoogd, krijgt onvoldoende aandacht.
Iedereen die zelf kinderen heeft gehad op het voortgezet onderwijs kan er over meepraten. Je zoon of dochter was goed op het proefwerk voorbereid en kwam toch met een onvoldoende thuis.

Ik heb op veel scholen docentengroepen getraind en begeleid bij het maken van toetsen. We beginnen meestal met het verzamelen van toetsen van de school. Vervolgens analyseren we die toetsen. Docenten schrikken dan van de toetsen die collega’s hun leerlingen voorleggen, ze bezien eigen toetsen opeens met een andere bril en ook methodetoetsen kunnen vaak de toets der kritiek niet doorstaan.

Wat toetsen we eigenlijk?
Voor leerlingen hangt er veel af van een toets. Zoals hierboven beschreven zijn er verschillende toetsdoelen, maar in de meeste gevallen gaat het bij toetsing in het voortgezet onderwijs om cijfers te genereren. De cijfers worden ingevoerd en aan het einde van het schooljaar wordt bepaald of een leerling wel of niet kan doorstromen naar het volgende leerjaar, kan opstromen of moet afstromen.
Als ik docenten vraag welke criteria ze belangrijk vinden bij bevordering, opstromen of afstromen, dan noemen docenten meestal de beheersing van de leerstof en het gedrag van de leerling. Hoe stelt de leerling zich bijvoorbeeld op in de klas.
Zo beantwoorde een docent Duits de vraag ‘ Noem eens drie criteria waarop je bijna intuïtief je determinatie baseert’ met: ‘Oplettende oogjes, de drang om niets te willen missen’.
Bij mijn inventarisaties op een paar scholen stelde ik steeds dezelfde vraag. De uitkomst was: tekstbegrip, interesse/diepgang, actieve omgang met leerstof, motivatie, zelfstandig kunnen plannen, snelheid van opname, abstractievermogen, complexiteit en logische argumentatie. Bij discussies die daarop volgden kwam naar voren dat de lessen zich niet op die facetten richtten. Interesse/diepgang, actieve omgang met de leerstof, abstractievermogen en logische argumentatie moest in de leerling zelf zitten en het zelfstandig kunnen plannen was iets voor de mentorlessen. Het meest opvallende was dat alles wat werd genoemd niet werd getoetst!

Kan het ook anders?
Zou het mogelijk zijn om positief te determineren door vooraf te formuleren wat het profiel is van de ideale mavo, havo en vwo leerling. Wat moet zo’n leerling kennen, kunnen, weten en zijn? Welke leerstof moet wanneer en op welk niveau worden beheerst om succesvol te kunnen doorstromen? Hoe wordt dat dan getoetst?
In dit licht is het logisch dat toetsen en proefwerken gebaseerd zijn op weloverwogen criteria.

Bij toetsconstructie is dus de eerste stap:
Wat is het leerdoel? Wat moeten mijn leerlingen kennen en kunnen, welke begrippen (schooltaal en vaktaal, passief en actief), welke vaardigheden moeten ze kunnen laten zien (onder welke omstandigheden en onder welke voorwaarden) en wat neem ik dus op in mijn toets?

De tweede stap is beslissen hoe jouw leerlingen het beste kunnen laten zien wat ze kennen/kunnen/beheersen? Worden het multiple choice vragen, open vragen, gesloten vragen, ja/nee vragen, invulvragen – invulschema’s (aanvulschema’s) en wat voor soort vragen.

De derde stap is het bepalen van de lengte van een proefwerk en afweging maken tussen actieve en passieve kennis. Op sommige scholen gelden regels voor de duur van een proefwerk, de duur in tijd bepaalt dan wat er in het proefwerk komt. Ik snap dat het organisatorisch soms beter uitkomt, maar leerlingen zijn er niet bij gebaat en het levert vaak ook niet meer aan data op.
Niet de organisatie moet bij toetsen centraal staan, maar de leerling. Niet alle kennis hoeft te worden gereproduceerd, leerlingen hoeven niet 45 minuten leeg te lopen (omdat het handig is voor de organisatie), kennis en vaardigheden kunnen worden getoond binnen een tijdsbestek van 20 minuten.
Wil je het proefwerk dan echt langer laten duren, richt je dan op determinerende vragen, maar geef wel een breuk aan in het proefwerk zodat je het cijfer bepaalt boven de breuklijn. Geef een verdiepingsvraag voor ‘diehards’ die zo kunnen laten zien wat ze werkelijk waard zijn. Maak voor andere leerlingen een vraag waarbij je ‘kennis weggeeft’ om een moeilijkere vaardigheid te toetsen. Ook dat geeft je inzicht in het functioneren van je leerlingen.
Maak geen vraag als een drietrapsraket, waarbij vragen worden verdeeld in de stappen A, B en C, waarbij kennis uit A noodzakelijk is om de bewerking in B en C te kunnen toepassen. Om te toetsen of een leerling vaardigheden uit B en C beheerst, kan de kennis uit A beter worden gegeven. Een leerling is dubbel gedupeerd als B en C wel beheerst worden, maar niet getoond kunnen worden omdat het antwoord op A niet is gelukt te achterhalen.

De vierde stap richt zich op de opbouw van de toets.
Laat leerlingen lekker op gang komen door een eenvoudiger kennis- of begripsvraag. Stel vervolgens een of twee toepassingsvragen en eindig met een analyse, synthese of evaluatievraag.

De vijfde stap is het formuleren van de vragen.
Omdat het gaat om leerstoftoetsen en niet om tekstbegrip, is heldere schrijftaal belangrijk, dus liefst met eenvoudige zinnen. Het gaat om het ontlokken van kennis, daarbij kan de vraagstelling behulpzaam zijn of belemmerend werken. Dus vermijd passieve zinnen, moeilijke woorden en figuurlijk taalgebruik. Plaats opsommingen onder elkaar, zet iedere zin op een nieuwe regel als dat de vraag verduidelijkt en maak gebruik van een transparante opmaak.
Onder de vijfde stap hoort ook de opmaak van het proefwerk.
Gelukkig zijn er scholen die hebben afgesproken dat toetsen moeten voldoen aan de huisstijl van de school met een bepaald lettertype, bepaalde regelafstand, afspraken over hoe het zichtbaar is dat er een nieuwe vraag begint en dat wordt aangegeven wanneer een leerling de laatste vraag heeft beantwoord. Maar op veel scholen is dat niet het geval en wie een willekeurige verzameling proefwerken van een school onder ogen krijgt, schrikt zich soms een hoedje. Nog steeds krijgen leerlingen toetsen voorgeschoteld die er niet uitzien en het maken ervan bemoeilijken. Het komt voor dat een docent vragen van verschillende toetsen bij heeft elkaar gesprokkeld, soms zelfs nog geknipt en opgeplakt op een A4 dat vervolgens is gekopieerd. Afbeeldingen en schema’s waar leerlingen mee moeten werken zijn dan praktisch onleesbaar, allerhande lettertypes worden door elkaar gebruikt en het is soms niet te zien waar de ene vraag eindigt en de andere begint. Ga er maar aan staan.

Als stap één tot en met vijf zijn doorgewerkt komt in de zesde stap pas het vaststellen van het antwoordmodel aan de orde.
Het goede antwoord wordt opgeschreven, waarbij wordt genoteerd aan welke eisen het antwoord moet voldoen. Hierbij worden ook de te verwachte fouten opgeschreven.
Per vraag wordt een scoringsvoorschrift gemaakt (punten per vraag).

Tijdens de zevende stap worden de vragen kritisch doorgenomen. Toets iedere vraag het gewenste leerdoel? Is er een spreiding in vraagvormen (meerkeuze, ja/nee en open vragen? Is er een spreiding in vraagsoorten (Bloom) en is er aan de opbouw in vraagvormen en vraagsoorten voldaan. Voldoet het correctiemodel aan de vuistregels?
Pas als alles is gecontroleerd, wordt het proefwerk aan een collega gegeven die de vragen kritisch doorneemt en commentaar geeft op de vragen en het correctiemodel. Bij voorkeur wordt het proefwerk ook bekeken door een collega buiten de eigen sectie, dus iemand die niet ook al aan een half woord genoeg heeft om te begrijpen waar de vraag zich op richt.

Vervolgens keren we terug naar datgene dat Paul Ket heeft beschreven in zijn blogpost ‘De toetstechniek van docenten’ onder het kopje ‘Na de afname’.
Daar zou ik nog een belangrijk punt aan willen toevoegen: Het herzien van de toets!
Bij het nakijken zal blijken dat bepaalde vragen vaker goed of fout zijn beantwoord dan andere. Het is dan ook zinvol om per vraag te noteren hoe vaak de vraag goed, fout of half is beantwoord.
Bij een hoog foutenpercentage is er iets mis. Er is iets mis met de leerstof of de formulering van de vraag. Het is dan ook tijd om dat grondig te analyseren en de vraag misschien niet mee te tellen. Wordt er gewerkt met proefwerken die volgend jaar weer uit de kast worden gehaald, dan moet de vraag meteen worden herzien voor de volgende keer of worden geschrapt. Hierbij moet niet worden vergeten de collega’s in te lichten, op te letten dat oude versie wordt weggegooid en de goede versie in het digitale archief wordt opgenomen.
Verder kan op basis van het gemaakte proefwerk worden vastgesteld welke kennis of vaardigheden extra aandacht vragen bij de bespreking van het proefwerk of de vervolgles. Zo wordt het een nuttige bespreking en kan de vervolgles meteen zorgen voor het wegwerken van de gebleken hiaten in kennis of vaardigheden.

Voor iedereen die al zo zorgvuldig is bij de constructie van de toets, prima, houden zo. Hopelijk is dit ook schoolbeleid.
Voor docenten die van het bovenstaande in een kramp schieten, of voor scholen die er werk van willen maken, houd ik me aanbevolen om hier samen de schouders onder te zetten.