Hier volgt een stuk geschreven door Ben Wilbrink en mij als bijdrage aan de discussie over “De Rekentoets”, en vooral om leden van de Tweede Kamer en de Staatssecretaris. Het is hoogste tijd om een andere koers te varen en goed na te denken over wat rekenen is en hoe wij deze instrumentele vaardigheid moeten toetsen.  

De staatssecretaris wil doorgaan met de huidige rekentoetsen bij de eindexamens VO en MBO. Maar deze rekentoetsen toetsen geen rekenen, want rekenen – iets dat je zelf moet doen en dat behoort tot de instrumentele vaardigheden van alle burgers – mag bij deze toetsen met de rekenmachine! De klemmende vraag is dan: Wat toetst de rekentoets wel? Voor het antwoord hoeven wij niet te kijken naar de Commissie-Bosker, omdat die niet verder kwam dan aanbevelingen om van alles makkelijker te maken zonder aan te geven waarom precies de rekentoetsen zo moeilijk blijken te zijn, en in het bijzonder ook waarom zoveel moeilijker voor havisten dan voor vwo-ers. Er is dus nog werk aan de winkel; en veel!

Door het Cito beschikbaar gemaakte voorbeeldrekentoetsen laten zien dat kandidaten tientallen problemen ‘uit het dagelijks leven’ voorgelegd krijgen. De achterliggende gedachte is dat op school alleen maar leren rekenen niet garandeert dat men later die rekenvaardigheid ook zal gebruiken in ‘situaties uit het dagelijks leven’. Dat klopt, die garantie is er niet, ook niet voor de kennis opgedaan in andere vakken trouwens. Is dat erg? Nee, want na school gaat het leren natuurlijk door. Nogal algemene schoolse kennis vraagt voortdurend aanpassing aan nieuwe situaties. Maar voorwaarde hiervoor is dus dat de algemene schoolse kennis überhaupt opgedaan, c.q. aanwezig is. Kirschner, Sweller en Clark hebben in een aantal wetenschappelijke maar ook vakdidactische artikelen duidelijk gemaakt dat om problemen in het rekenen op te kunnen lossen, je geen problemen moet leren oplossen maar moet leren rekenen! In, bijvoorbeeld, een artikel in Didactief (Nr 5 / mei 2011, p. 30-31) schrijven zij: “Er vallen dus géén algemene probleemoplossende strategieën te leren. Vertaald naar het wiskundeonderwijs: we kunnen van leerlingen alleen effectieve wiskundige probleemoplossers maken als we ze voeden met grote hoeveelheden wiskundige schema’s [lees: eerst goed leren rekenen], kennis en op wiskundige problemen gerichte strategieën”. Daarna kunnen wij kinderen helpen leren die kennis toe te passen ‘in situaties uit het dagelijkse leven’. Dat laatste is nog een lastige opgave. In de psychologie heet dat het probleem van transfer, maar ook zonder zo moeilijk te doen kunnen we gewoon constateren dat er sprake is van leerprocessen, van verder leren.

Deze rekentoetsen met ‘situaties uit het dagelijks leven’ testen dus het vermogen om te leren: gebruik makend van opgedane rekenvaardigheid deze zo aanpassen dat de voorgelegde contextopgaven ermee zijn te maken. Is dit een legitiem doel van het voortgezet onderwijs, dan? Het gaat om een examensituatie waarin kandidaten zelfstandig moeten werken: het leren is hier (zelf)ontdekkend leren. Is het vermogen tot dit soort leren een legitiem doel van het voortgezet onderwijs? Om het artikel in Didactief weer te citeren: “Hoewel sommige briljante wiskundigen zonder adequate instructie in staat zijn gebleken om wiskundeproblemen te leren oplossen door zelf de oplossingen te ontdekken, is zo’n aanpak nooit de meest effectieve of efficiënte methode om leerlingen wiskunde te leren. Dus niet de manier voor de ‘doorsnee’ leerling”. Als dit, op zich, geen effectieve of efficiënte leerstrategie is, is het testen van dat vermogen dan een legitiem eindexamenonderdeel? Ons inziens zijn dit vragen die nu een dringend antwoord behoeven. De Commissie-Bosker geeft dat antwoord niet, de brief van 13 juni van staatssecretaris Sander Dekker aan de Tweede kamer evenmin. Ons voorstel is nu dat vanuit de psychologie er een expert opinion over wordt gegeven; denk aan wetenschappers als Borsboom, Van der Maas, Taatgen, Zwaan, Kirschner. Nog beter is dat de staatssecretaris tegelijk opdracht geeft om een degelijk experimenteel cognitief-psychologisch onderzoek te (laten) doen naar de aard van de kennis en vaardigheden die nodig zijn voor het beantwoorden van de contextopgaven in deze rekentoetsen.

Er zijn trouwens al spijkerharde gegevens voorhanden. Het Cito rapporteerde voor een klein aantal vragen de foutenanalyses voor HAVO en VWO, voor zover gegeven antwoorden dat toelaten (kladpapier wordt vernietigd, ongelooflijk maar waar). Het College voor Examens (CvE) rapporteerde de voorlopige testresultaten van de examenkandidaten 2014 (in percentages voldoende): BB 38,4, KB 39,2, GL/TL 54,9, HAVO 45,3, VWO 87,6. Totaal: 54,4 procent voldoende. Het verschil tussen HAVO en VWO is circa 40 procentpunt. Dat verschil kan door allerlei reparaties zoals door de Commissie-Bosker voorgesteld wel iets veranderen, maar zo’n verschil zal er blijven zolang deze rekentoets het karakter heeft van een test op intellectuele capaciteiten c.q. het vermogen om goed te kunnen lezen, in plaats van een doeltreffend voor te bereiden toets op rekenvaardigheden. En dat laatste kan best, zoals het eerste deel van de rekentoets-3S van de Commissie-Van de Craats laat zien. Nee, het is geen oplossing om voor havisten de lat dan maar te laten zakken: dat zou een erkenning zijn dat deze rekentoets een intelligentietest is. Het CvE heeft deze erkenning trouwens al gegeven: de lat ligt voor de vmbo-opleidingen nu al op verschillende hoogten, voor dezelfde toets dus.

We draaien het nu even om. Rekenen is geen raketwetenschap. Deze rekentoets in de eindexamens moet doeltreffend zijn voor te bereiden, anders deugt er iets fundamenteel niet. Dit is de eis die A. D. de Groot in 1970 onder woorden bracht, en die Job Cohen (1981) in zijn proefschrift Studierechten in meer juridische termen vertaalde. Bij doeltreffende voorbereiding komen kandidaten met ongeveer dezelfde slaagkansen op voor dit examen. Maar dan moeten gemiddelde resultaten van HAVO en VWO aan elkaar gelijk zijn! Zolang daar licht tussen zit — op dit moment een verschil van 40 procentpunt! — is dat een harde aanwijzing dat de rekentoetsen niet valide zijn. Ze deugen gewoon niet. Wat niet uitsluit dat het rekenonderwijs niet deugt. We moeten dolgraag willen weten waar hem dat precies in zit, maar de Commissie-Bosker heeft niet eens de vraag gesteld. Toch is het een kwaliteitseis (#1.8 in de Standards for Educational and Psychological Testing) te weten welke de cognitieve processen van de examenkandidaten zijn, en daar moet wetenschappelijke onderbouwing voor gegeven zijn. Als Cito en CvE hier in gebreke blijven, moet er langs andere weg aan worden gewerkt.

De crux van dit al is dat deze contextopgaven (en de toetscondities) een zo grote mentale belasting opleveren dat de informatieverwerking de bottleneck vormt. Veel kandidaten slagen er te vaak niet in om alle informatie goed te verwerken (46 procent scoort onvoldoende). Nu is daar wel iets aan te doen met maatregelen zoals door de Commissie-Bosker aanbevolen. Veronderstel dat al die maatregelen zijn genomen, dan bestaan de rekentoetsen nog steeds uit contextopgaven. Wat deze toetsen dan meten, is het vermogen om uit de gegeven context en de vraagstelling te redeneren naar het bedoelde rekenmodel (en dat met de rekenmachine uit te rekenen). Tenzij de contexten zo kinderachtig worden dat ze beter achterwege kunnen blijven, blijven het vragen die een grote mentale belasting opleveren. Op zich hoeft dat voor een examen natuurlijk geen probleem te zijn. Maar wanneer er een kloof in slaagpercentage blijft tussen havisten en VWO-ers, betekent het dat deze rekentoetsen geen rekenvaardigheid toetsen, maar verschillen in mentale belastbaarheid meten. Wat we nu graag precies willen weten, zowel kwalitatief als kwantitatief: op welke manieren leveren deze contextopgaven mentale belasting op. Hoeveel informatie moet tegelijk verwerkt worden, en is dat ook voor goede rekenaars in feite niet te veel informatie? Dit zijn niet zulke lastige vragen, en er is een behoorlijke hoeveelheid onderzoekliteratuur beschikbaar. De antwoorden hadden dus al bekend moeten zijn, er zijn toch al een paar commissies met dat rekenen-in-contexten in de slag geweest?

Een simpele les uit de cognitiewetenschap leert ons dat het werkgeheugen van de mens zeer klein is. Hoewel de wetenschappers geen exact getal kunnen geven menen zij dat als het om nieuwe informatie gaat, dat het 4 of 5 eenheden informatie bevat. Daarom zijn lange, ingewikkelde opgaven moeilijker te begrijpen dan korte; tegen het einde van zo’n opgave is de capaciteit van het werkgeheugen gewoon overbevraagd — de mentale belasting is te hoog. Hoe meer expertise — dus meer cognitieve schema’s beschikbaar — des te beter de kandidaat meer ingewikkelde zinnen aan kan. Maar zijn de contexten telkens nieuw, dan is er op dat punt geen expertise om op terug te vallen. Dan zijn er natuurlijk ook persoonlijke verschillen in geheugencapaciteit, waardoor de ene kandidaat kwetsbaarder is voor overlading van het werkgeheugen dan de andere. Al met al geen wonder dat de scores op deze rekentoetsen zo laag zijn, met zo’n groot verschil tussen HAVO en VWO.

Ben Wilbrink is onderwijsonderzoeker zonder institutionele binding, En ik, ik ben hoogleraar Onderwijspsychologie aan het Welten-instituut van de Open Universiteit.

Hier volgen enige referenties naar interessante “ondersteuningsstukken”

• D. Borsboom & K. A. Markus (2013). Truth and evidence in validity theory. Journal of Educational Measurement, 50(1), 110-114. [Special Issue: Validity] http://onlinelibrary.wiley.com/doi/10.1111/jedm.12006/abstract
• D. Borsboom, G. J. Mellenbergh & J. H. van Heerden (2004). The concept of validity. Psychological Review, 111, 1061-1071. http://goo.gl/eIhwGL
• H. L. J. van der Maas, D. Molenaar, G. Maris, R. A. Kievit & D. Borsboom (2011). Cognitive psychology meets psychometric theory: on the relation between process models for decision making and latent variable models for individual differences. Psychological Review, 118, 339-356. http://psycnet.apa.org/?&fa=main.doiLanding&doi=10.1037/a0022749 (abstract)
• Paul A. Kirschner, John Sweller and Richard E. Clark (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.
• http://www.cogtech.usc.edu/publications/kirschner_Sweller_Clark.pdf
• Paul A. Kirschner, Richard E. Clark, and John Sweller (november 2012). Helemaal uitleggen of zelf laten ontdekken? Onderzoek spreekt voor volledig begeleide instructie. Van Twaalf Tot Achttien, 14-16. http://dspace.ou.nl/bitstream/1820/4771/1/Van12-18%20-%20november2012%20-%20Helemaal%20uitleggen%20of%20zelf%20laten%20ontdekken%20-%20KSC.pdf
• John Sweller, Richard Clark en Paul Kirschner (2010). Teaching General Problem-Solving Skills Is Not a Substitute for, or a Viable Addition to, Teaching Mathematics. Notices of the American Mathematical Society, 57, 1303-1304. http://www.ams.org/notices/201010/rtx101001303p.pdf
• Richard Clark, Paul Kirschner & John Sweller (Spring 2012). Putting Students on the Path to Learning. The Case for Fully Guided Instruction. American Educator, 6-11. http://www.aft.org/pdfs/americaneducator/spring2012/Clark.pdf
• Wim J. van der Linden (2002). On complexity in CBT [Computer Based Testing, b.w.]. In C. N. Mills, M. T. Potenza, J. J. Fremer, & W. C. Ward (Eds.), Computer-based testing. Building the foundation for future assessments (pp. 89-102). Erlbaum. [als e-Book te leen bij KB] http://goo.gl/c1bkBI (Google preview)
• Niels Taatgen (2013). The Nature and Transfer of Cognitive Skills. Psychological Review, 120, 439-471. http://www.ai.rug.nl/~niels/publications/2013-19654-001.pdf
• Ben Wilbrink (1983). Toetsvragen schrijven. Utrecht, Het Spectrum, Aula 809. In herziening: Toetsvragen ontwerpen. http://benwilbrink.nl/projecten/toetsvragen.1.htm
• Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30. Versie met notenapparaat: http://benwilbrink.nl/projecten/hoorzitting_4-12-2013_situationisme.htm#noten
• Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpuntie meebeoordelen op eindexamens? Tweede Kamer motie van de leden Jan Jacob van Dijk en Jasper van Dijk. Examens, Tijdschrift voor de Toetspraktijk, 7 #3, 5-9. http://www.ben-wilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf
• Ben Wilbrink & Joost Hulshof (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Invoering van de rekentoets havo/vwo in 2014. Examens, Tijdschrift voor de Toetspraktijk, 8 #3, 18-22.  http://www.ben-wilbrink.nl/ex-11-3.pdf
  Repliek en dupliek: http://www.ben-wilbrink.nl/zwitser_beguin_2011_wilbrink_hulshof.pdf
• Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (2012). Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. http://www.ben-wilbrink.nl/wilbrink_hulshof_pfaltzgraff_2012_De_rekentoetsen_3F_zijn_niet_valide.pdf
  Officiële repliek van het CvE, dupliek http://www.cve.nl/document/artikel_examens_rekentoetsen_vo
• Rolf A. Zwaan and Michael P. Kaschak (2009). Language in the brain, body, and world. http://goo.gl/yGnmQL In Philip Robbins & Murat Aydede: The Cambridge Handbook of Situated Cognition. Cambridge University Press.