Reactie op Toetstechniek voor docenten (1)

Fijn dat Paul Ket een stuk heeft geschreven over Toetstechniek-voor-docenten-1. Het is een helder stuk en ik kan me er voor een groot deel in vinden, alleen mis ik een aantal noodzakelijke stappen vooraf.
Paul Ket noemt onder het kopje ‘Voor de afname’ dat leerlingen hun naam op het blaadje schrijven. Is dat alles? Bij de fase ‘Voor de afname’ hoort toch veel meer? Feitelijk is dit de belangrijkste fase van een toets. De toets moet namelijk zorgvuldig worden samengesteld en de vragen moeten in heldere taal op papier worden gezet. Juist deze fase zorgt ervoor of je leerlingen eerlijk de maat neemt.

Na afloop van een proefwerk hoor je leerlingen vaak uitroepen: “Oooh, was dat de bedoeling van de vraag. Ik snapte die vraag niet. Als ik dat had geweten, dan wist ik het wel.
Communicatieproblemen tussen de toetsenproducerende docenten en de toetsenmakende leerlingen komen regelmatig voor en zelfs bij het schriftelijk examen krijgen leerlingen verwarrende vragen voorgelegd.
Toetsen worden vaak geproduceerd onder tijdsdruk en de docent weet precies wat hij bedoelt. Het aantal ‘cues’ dat hij nodig heeft om zelf te snappen wat zo verschrikkelijk logisch is in de vraagsteling, is meestal gering. Hij leest in veel gevallen meer dan hij schreef. In veel gevallen levert dat geen grote botsingen op. Het verschil in positie tussen docent en leerling maakt dat een docent niet behoeft te overdenken of de vraag wel helder genoeg was voor de leerlingen. Zelf niet als een groot deel van de klas de vraag foutief heeft beantwoord. Het ligt aan het reflectief vermogen aan een docent of hij bij veel fouten overdenkt of het misschien aan de vraagstelling heeft gelegen. Bovendien zijn er leerlingen die langere tijd door een bepaalde docent zo getraind worden dat ze bijna automatisch bedenken wat de docent zou kunnen bedoelen. Bij die strategisch goed onderlegde leerlingen kan het er wel toe leiden dat ze soms niet hebben kunnen laten zien wat ze waard zijn. Dat is dan toch wel jammer.

We toetsen om te zien of leerlingen leerstof en vaardigheden in voldoende mate beheersen. We controleren of onze lessen zijn begrepen, waar de hiaten zitten en we beoordelen, we nemen leerlingen de maat. Met het afnemen van toetsen houden we ons dus bezig met plaatsing (op het juiste niveau), voortgang en controle (bereik ik mijn doelen), diagnose, determinatie en bevordering. Voor leerlingen hangt er dus heel veel af van het maken van een toets. Vandaar dat het mij vreemd overkomt dat er soms lichtzinnig wordt omgesprongen met het maken van proefwerken. Juist het proces dat vooraf gaat aan het maken van de toets, het formuleren van de toets zelf en de controle of de toetst doet wat wordt beoogd, krijgt onvoldoende aandacht.
Iedereen die zelf kinderen heeft gehad op het voortgezet onderwijs kan er over meepraten. Je zoon of dochter was goed op het proefwerk voorbereid en kwam toch met een onvoldoende thuis.

Ik heb op veel scholen docentengroepen getraind en begeleid bij het maken van toetsen. We beginnen meestal met het verzamelen van toetsen van de school. Vervolgens analyseren we die toetsen. Docenten schrikken dan van de toetsen die collega’s hun leerlingen voorleggen, ze bezien eigen toetsen opeens met een andere bril en ook methodetoetsen kunnen vaak de toets der kritiek niet doorstaan.

Wat toetsen we eigenlijk?
Voor leerlingen hangt er veel af van een toets. Zoals hierboven beschreven zijn er verschillende toetsdoelen, maar in de meeste gevallen gaat het bij toetsing in het voortgezet onderwijs om cijfers te genereren. De cijfers worden ingevoerd en aan het einde van het schooljaar wordt bepaald of een leerling wel of niet kan doorstromen naar het volgende leerjaar, kan opstromen of moet afstromen.
Als ik docenten vraag welke criteria ze belangrijk vinden bij bevordering, opstromen of afstromen, dan noemen docenten meestal de beheersing van de leerstof en het gedrag van de leerling. Hoe stelt de leerling zich bijvoorbeeld op in de klas.
Zo beantwoorde een docent Duits de vraag ‘ Noem eens drie criteria waarop je bijna intuïtief je determinatie baseert’ met: ‘Oplettende oogjes, de drang om niets te willen missen’.
Bij mijn inventarisaties op een paar scholen stelde ik steeds dezelfde vraag. De uitkomst was: tekstbegrip, interesse/diepgang, actieve omgang met leerstof, motivatie, zelfstandig kunnen plannen, snelheid van opname, abstractievermogen, complexiteit en logische argumentatie. Bij discussies die daarop volgden kwam naar voren dat de lessen zich niet op die facetten richtten. Interesse/diepgang, actieve omgang met de leerstof, abstractievermogen en logische argumentatie moest in de leerling zelf zitten en het zelfstandig kunnen plannen was iets voor de mentorlessen. Het meest opvallende was dat alles wat werd genoemd niet werd getoetst!

Kan het ook anders?
Zou het mogelijk zijn om positief te determineren door vooraf te formuleren wat het profiel is van de ideale mavo, havo en vwo leerling. Wat moet zo’n leerling kennen, kunnen, weten en zijn? Welke leerstof moet wanneer en op welk niveau worden beheerst om succesvol te kunnen doorstromen? Hoe wordt dat dan getoetst?
In dit licht is het logisch dat toetsen en proefwerken gebaseerd zijn op weloverwogen criteria.

Bij toetsconstructie is dus de eerste stap:
Wat is het leerdoel? Wat moeten mijn leerlingen kennen en kunnen, welke begrippen (schooltaal en vaktaal, passief en actief), welke vaardigheden moeten ze kunnen laten zien (onder welke omstandigheden en onder welke voorwaarden) en wat neem ik dus op in mijn toets?

De tweede stap is beslissen hoe jouw leerlingen het beste kunnen laten zien wat ze kennen/kunnen/beheersen? Worden het multiple choice vragen, open vragen, gesloten vragen, ja/nee vragen, invulvragen – invulschema’s (aanvulschema’s) en wat voor soort vragen.

De derde stap is het bepalen van de lengte van een proefwerk en afweging maken tussen actieve en passieve kennis. Op sommige scholen gelden regels voor de duur van een proefwerk, de duur in tijd bepaalt dan wat er in het proefwerk komt. Ik snap dat het organisatorisch soms beter uitkomt, maar leerlingen zijn er niet bij gebaat en het levert vaak ook niet meer aan data op.
Niet de organisatie moet bij toetsen centraal staan, maar de leerling. Niet alle kennis hoeft te worden gereproduceerd, leerlingen hoeven niet 45 minuten leeg te lopen (omdat het handig is voor de organisatie), kennis en vaardigheden kunnen worden getoond binnen een tijdsbestek van 20 minuten.
Wil je het proefwerk dan echt langer laten duren, richt je dan op determinerende vragen, maar geef wel een breuk aan in het proefwerk zodat je het cijfer bepaalt boven de breuklijn. Geef een verdiepingsvraag voor ‘diehards’ die zo kunnen laten zien wat ze werkelijk waard zijn. Maak voor andere leerlingen een vraag waarbij je ‘kennis weggeeft’ om een moeilijkere vaardigheid te toetsen. Ook dat geeft je inzicht in het functioneren van je leerlingen.
Maak geen vraag als een drietrapsraket, waarbij vragen worden verdeeld in de stappen A, B en C, waarbij kennis uit A noodzakelijk is om de bewerking in B en C te kunnen toepassen. Om te toetsen of een leerling vaardigheden uit B en C beheerst, kan de kennis uit A beter worden gegeven. Een leerling is dubbel gedupeerd als B en C wel beheerst worden, maar niet getoond kunnen worden omdat het antwoord op A niet is gelukt te achterhalen.

De vierde stap richt zich op de opbouw van de toets.
Laat leerlingen lekker op gang komen door een eenvoudiger kennis- of begripsvraag. Stel vervolgens een of twee toepassingsvragen en eindig met een analyse, synthese of evaluatievraag.

De vijfde stap is het formuleren van de vragen.
Omdat het gaat om leerstoftoetsen en niet om tekstbegrip, is heldere schrijftaal belangrijk, dus liefst met eenvoudige zinnen. Het gaat om het ontlokken van kennis, daarbij kan de vraagstelling behulpzaam zijn of belemmerend werken. Dus vermijd passieve zinnen, moeilijke woorden en figuurlijk taalgebruik. Plaats opsommingen onder elkaar, zet iedere zin op een nieuwe regel als dat de vraag verduidelijkt en maak gebruik van een transparante opmaak.
Onder de vijfde stap hoort ook de opmaak van het proefwerk.
Gelukkig zijn er scholen die hebben afgesproken dat toetsen moeten voldoen aan de huisstijl van de school met een bepaald lettertype, bepaalde regelafstand, afspraken over hoe het zichtbaar is dat er een nieuwe vraag begint en dat wordt aangegeven wanneer een leerling de laatste vraag heeft beantwoord. Maar op veel scholen is dat niet het geval en wie een willekeurige verzameling proefwerken van een school onder ogen krijgt, schrikt zich soms een hoedje. Nog steeds krijgen leerlingen toetsen voorgeschoteld die er niet uitzien en het maken ervan bemoeilijken. Het komt voor dat een docent vragen van verschillende toetsen bij heeft elkaar gesprokkeld, soms zelfs nog geknipt en opgeplakt op een A4 dat vervolgens is gekopieerd. Afbeeldingen en schema’s waar leerlingen mee moeten werken zijn dan praktisch onleesbaar, allerhande lettertypes worden door elkaar gebruikt en het is soms niet te zien waar de ene vraag eindigt en de andere begint. Ga er maar aan staan.

Als stap één tot en met vijf zijn doorgewerkt komt in de zesde stap pas het vaststellen van het antwoordmodel aan de orde.
Het goede antwoord wordt opgeschreven, waarbij wordt genoteerd aan welke eisen het antwoord moet voldoen. Hierbij worden ook de te verwachte fouten opgeschreven.
Per vraag wordt een scoringsvoorschrift gemaakt (punten per vraag).

Tijdens de zevende stap worden de vragen kritisch doorgenomen. Toets iedere vraag het gewenste leerdoel? Is er een spreiding in vraagvormen (meerkeuze, ja/nee en open vragen? Is er een spreiding in vraagsoorten (Bloom) en is er aan de opbouw in vraagvormen en vraagsoorten voldaan. Voldoet het correctiemodel aan de vuistregels?
Pas als alles is gecontroleerd, wordt het proefwerk aan een collega gegeven die de vragen kritisch doorneemt en commentaar geeft op de vragen en het correctiemodel. Bij voorkeur wordt het proefwerk ook bekeken door een collega buiten de eigen sectie, dus iemand die niet ook al aan een half woord genoeg heeft om te begrijpen waar de vraag zich op richt.

Vervolgens keren we terug naar datgene dat Paul Ket heeft beschreven in zijn blogpost ‘De toetstechniek van docenten’ onder het kopje ‘Na de afname’.
Daar zou ik nog een belangrijk punt aan willen toevoegen: Het herzien van de toets!
Bij het nakijken zal blijken dat bepaalde vragen vaker goed of fout zijn beantwoord dan andere. Het is dan ook zinvol om per vraag te noteren hoe vaak de vraag goed, fout of half is beantwoord.
Bij een hoog foutenpercentage is er iets mis. Er is iets mis met de leerstof of de formulering van de vraag. Het is dan ook tijd om dat grondig te analyseren en de vraag misschien niet mee te tellen. Wordt er gewerkt met proefwerken die volgend jaar weer uit de kast worden gehaald, dan moet de vraag meteen worden herzien voor de volgende keer of worden geschrapt. Hierbij moet niet worden vergeten de collega’s in te lichten, op te letten dat oude versie wordt weggegooid en de goede versie in het digitale archief wordt opgenomen.
Verder kan op basis van het gemaakte proefwerk worden vastgesteld welke kennis of vaardigheden extra aandacht vragen bij de bespreking van het proefwerk of de vervolgles. Zo wordt het een nuttige bespreking en kan de vervolgles meteen zorgen voor het wegwerken van de gebleken hiaten in kennis of vaardigheden.

Voor iedereen die al zo zorgvuldig is bij de constructie van de toets, prima, houden zo. Hopelijk is dit ook schoolbeleid.
Voor docenten die van het bovenstaande in een kramp schieten, of voor scholen die er werk van willen maken, houd ik me aanbevolen om hier samen de schouders onder te zetten.

About Marijke Kaatee

Onderwijsadviseur, taalexpert. Ik ondersteun scholen. Planvorming, implementatie en uitvoering van taalbeleid, taal in de vakles, integratie van taal en digitale middelen in vaklessen en toetsconstructie. Mijn uitgangspunten zijn: - kijken naar leerlingen en uitgaan van hun behoefte - docenten alles uit zichzelf laten halen wat er in zit - docenten hulpmiddelen geven om kennis te maken en ervaring op te doen met effectieve didactische structuren in lessen.

8 Reacties to “Reactie op Toetstechniek voor docenten (1)”

  1. Een klein puntje
    Ik vind het voorbeeld van een gesloten vraag minder geslaagd.
    Je kunt de stelling van Pythagoras op verschillende manieren in formulevorm uitdrukken.
    Overigens zijn er ‘deskundigen’ die alles wat geen meerkeuze is ‘open’ noemen, maar dat is niet mijn standpunt.

    Like

  2. ” Om met de deur in huis te vallen: 49 procent, oftewel de helft. Opmerkelijk: leerkrachten met meer algemene kennis over de hersenen geloofden ook meer mythes! ”
    M.i. verklaarbaar. Veel komt tot de geïnteresseerde docent via allerlei tussenfiguren en instanties, die resultaten populariseren,verabsoluteren, verfraaien, en soms verdraaien.
    Bij- en nascholing op dit gebeid wordt zelden door echte deskundigen gegeven

    Like

  3. Fijn dat er hier kennis wordt gedeeld over wat wel en niet bruikbaar is. Er is een overkill aan ‘vakliteratuur’ en tegenwoordig lijkt het wel of alles met onderwijs en leren te maken heeft, het is lastig kiezen.
    Zou het misschien handig zijn om dicht bij huis te blijven en te lezen over wat wel en niet werkt in de klas? We hoeven geen uitstapjes naar andere disciplines te maken, waarbij we het risico lopen het verkeerd te interpreteren. Op mijn blog zet ik onder het tabblad ‘leestips’ maandelijks een artikel of boek dat de moeite waard is om te lezen. Vaak zijn het dan artikelen, websites of boeken waar je direct iets aan hebt. Een van de redenen van bestaan van een onderwijsbegeleider is het maken van de vertaalslag van de theorie naar de praktijk en daarbij te selecteren wat wel en niet praktisch is. Soms is het handig om gebruik te maken van wat de onderwijsbegeleiding kan bieden. Lees dus ook de onderwijsbladen, waarin maandelijks goede verwijzingen staan naar bruikbare vakliteratuur. Ook zij maken een voorselectie, zodat je niet een heel interessant boek ter hand neemt, maar er praktisch eigenlijk niets mee kunt. Het scheelt je veel tijd. Lees vooral Marzano voor de top tien van didactische structuren die leerlingen motiveren, laten denken en laten leren. Als je het kunt opbrengen lees dan Hattie als je Marzano niet gelooft en zelf naar bewijzen zoekt. Beide titels met ISBN op: http://www.kaatee.com/blog/?page_id=2.

    Like

  4. Nou vooruit, op verzoek hier op herhaling mijn leestip uit april 2010, nog altijd actueel en een echte aanrader:
    LEREN IN 5 DIMENSIES. Moderne didactiek voor het voortgezet onderwijs.
    Robert Marzano en Wietske Miedema
    Marzano is de specialist op het gebied van leertheorie en met name bekend vanwege zijn vertaling van onderzoek en theorie naar praktische toepassingen in de klas. Leren is een complex proces. Er is veel onderzoek gedaan naar hoe mensen leren. Marzano ontwierp een praktisch model waarin hij nieuwe inzichten heeft vertaald naar praktische instrumenten om het denken bij leerlingen te stimuleren. In dit boek heeft Miedema de vijf dimensies van Marzano toegespitst op de Nederlandse situatie. Kort wordt de achterliggende theorie behandeld. Verder geeft het boek vooral pedagogische en didactische aanknopingspunten. Met behulp van instrumenten in het boek kunnen docenten hun lessen met activerende didactische werkvormen verrijken zodat leerlingen daadwerkelijk zelf aan de slag gaan en leren.
    ISBN 978 9023 241294
    Voor de overige tips (vanaf 2008) verwijs ik graag naar mijn blog, tabblad Leestips: http://www.kaatee.com/blog/

    Like

  5. Datgene wat Marijke schrijft over toetstechniek, behoort tot de basiskennis van een onderwijskundige. Zorgwekkend vind ik dat eigenlijk: dat kennelijk veel mensen denken dat ze toetsen kunnen maken, zonder hiervan op de hoogte te zijn. Toetsen maken is gewoon een vak..!

    Like

  6. Dank voor je reactie Brenda. Het maken van een goede toets wordt inderdaad onderschat. Ja, deze kennis behoort tot de basiskennis van een onderwijskundige, maar zou ook tot de basiskennis van iedere docent moeten behoren.

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

Volg

Ontvang elk nieuw bericht direct in je inbox.

Doe mee met 2.372 andere volgers

%d bloggers op de volgende wijze: