Hoewel de ideeën in het boek ‘Het Alternatief’ in brede kring enthousiast zijn ontvangen – zelfs in de Tweede Kamer zijn die veel besproken en ook Minister Bussemaker citeerde instemmend uit het boek – is het idee om de toegevoegde waarde van leraren en scholen te meten nog lang niet uit de wereld. Staatssecretaris Dekker is nog steeds een voorstander van het publiceren van Cito-scores van basisscholen: “Dan kunnen ouders de beste school voor hun kind kiezen.” Veel media zijn nog steeds bereid de namen van ‘goede’ en ‘slechte’ scholen te publiceren, ook al weten ze dat de cijfers verre van betrouwbaar zijn.

Toegevoegde waarde is een economisch begrip dat, toegepast op het onderwijs, de ‘waarde’ meet van een docent uitgedrukt in de ‘leerwinst’ die zijn of haar leerlingen in een jaar weten te halen. Op het eerste gezicht is dat een goede benadering van de kwaliteit van het onderwijs en als het werkt kan het ouders zeker helpen bij de keuze van de juiste school voor hun kinderen. En als er een methode bestaat om toegevoegde waarde te meten, die voldoende betrouwbaar is, zouden beleidsmakers die kunnen inzetten om de kwaliteit van scholen en leraren te vast te stellen. In mijn bijdrage aan ‘Het Alternatief’ laat ik zien dat zo’n betrouwbare methode niet bestaat.

In Nederland heeft prof. Jaap Dronkers geprobeerd toegevoegde waarde toe te passen in de scholenranglijsten die jaarlijks in De Volkskrant (en vroeger in Trouw) worden gepubliceerd. Ook de Cito-scores, die onlangs door RTL Nieuws zijn gepubliceerd waren een poging om door middel van toegevoegde waarde tot een betrouwbare ranglijst van scholen te komen. Dat beide soorten ranglijsten de plank jammerlijk misslaan heb ik, behalve in ‘Het Alternatief’ hier aangetoond. Ook vanuit wetenschappelijke hoek staat de ‘methode Dronkers’ onder vuur.

In de Verenigde Staten wordt bij het onderwijsbeleid al langere tijd gebruik gemaakt van methoden gebaseerd op ‘value added models’ (VAM). In het kader van ‘No Child Left Behind’ dat onder George W. Bush is begonnen en Obama’s ‘Race to the Top’ worden scholen en leraren afgerekend met van VAMs afkomstige cijfers. Dat heeft geleid tot het publiekelijk te schande maken van de ‘slechtste’ leraren (zie New York’s worst teacher), ontslagen en sluiting van ‘slechte’ scholen. Dat het hier vaak gaat om docenten op scholen in de armste buurten met een groot aandeel leerlingen die het Engels nauwelijks machtig zijn, weerhoudt beleidsmakers (met onderwijsminister Arne Duncan voorop) er niet van op deze heilloze weg voort te gaan. De situatie in het amerikaanse onderwijs wordt nog verergerd door de opkomst van charter schools, privaat gefinancierde scholen, uiterst winstgevende ondernemingen die leerlingen van public schools overnemen.

Het zal niet verbazen dat value-added models uiterst controversieel zijn en dat de beweging om die af te schaffen steeds sterker wordt. Ouders trekken hun kinderen terug bij de afname van standaardtests, scholen weigeren die nog langer uit te voeren en in sommige staten worden VAMs niet meer gebruikt, soms zelf met het argument dat ze in zo’n staat ongrondwettelijk zijn. Maar ook vanuit wetenschappelijke kringen is er grote kritiek op de toepassing van VAMs om leraren en scholen af te rekenen. Opmerkelijk genoeg zijn vooral de wetenschappers die zelf deze, statistisch gecompliceerde, methoden ontwikkelen het meest uitgesproken in hun afwijzing van wat zij als misbruik van hun methoden beschouwen. In ‘Het Alternatief’ noem ik Daniel Koretz, wiens boek Measuring Up: What Educational Testing Really Tells Us ik van harte aanbeveel. In enkele artikelen (Koretz, 2008; McCaffrey e.a., 2004) rekenen hij en zijn collega’s af met het verkeerde gebruik van VAMs.

VAMboozled!

In ‘Het Alternatief’ noem ik ook Audrey Amrein-Beardsley, wiskundige en universitair docent, die in 2008 in een kritische studie van vermoedelijk de beste VAM vaststelt:

‘High-stakes beslissingen mogen niet worden genomen op basis van een enkele testscore’,
‘De nauwkeurigheid van de methode moet worden vastgesteld’ en
‘De negatieve neveneffecten van high-stakes beoordelingen moeten worden bekendgemaakt aan beleidsmakers.’

Zij is onlangs, samen met enkele andere onderzoekers gestart met de blog VAMboozled!:

[…] a blog about the issues surrounding teacher evaluation, teacher accountability, and value-added models (VAMs) in America’s public schools. VAMboozled! is also about the related issues surrounding America’s educational reform and accountability initiatives, and the related federal and state policies being advanced, incentivized, adopted, and implemented across the nation. […] The goal is to make more comprehensible and more accessible research-based information about these issues, to better reach and inform teachers, administrators, policymakers, parents, students, and members of the general public, all of whom are stakeholders, and who should ultimately be involved.

VAMboozled! biedt behalve goed leesbare posts over VAMs en het afrekenen van leraren een uitgebreide referentielijst van wetenschappelijke artikelen over Value-Added Models, High-Stakes Tests en VAMs en lerarenopleidingen. Iedereen die de ontwikkelingen op het gebied van ’toegevoegde waarde’ wil volgen, raad ik aan deze blog in de gaten te houden.

Een andere studie, die twee verschillende methoden vergelijkt (Goldhaber e.a., 2013), concludeert dat het bepalen van de toegevoegde waarde van een docent sterk afhankelijk is van het gebruikte model. 9 % van de leraren, die door de ene methode als beste worden beoordeeld, worden door de andere, even redelijke methode tot de slechtste gerekend.

De conclusie is helder. Methoden om de kwaliteit van leraren te meten, die gebruik maken van toegevoegde waarde, zijn interessante hulpmiddelen voor wetenschappelijk onderzoek, mits kritisch gehanteerd. Daarop onderwijsbeleid baseren is een grote vergissing, die rampzalige gevolgen kan hebben. Wie denkt dat ik overdrijf, raad ik aan de blog van Diane Ravitch te volgen, die onlangs het boek Reign of Error schreef dat in de VS veel aandacht kreeg.

________________________________

Bronnen

Amrein-Beardsley, A., 2008. ‘Methodological Concerns About the Education Value-Added Assessment System’, Educational Researcher, jg. 37, nr. 2, 65-75. http://edr.sagepub.com/cgi/doi/10.3102/0013189X08316420

Goldhaber, D.D., P. Goldschmidt en F. Tseng, 2013. ‘Teacher Value-Added at the High-School Level: Different Models, Different Answers?’, Educational Evaluation and Policy Analysis, jg. 35, nr. 2, 220-236. http://epa.sagepub.com/cgi/content/long/35/2/220

René Kneyber en Jelmer Evers, 2013. Het Alternatief: Weg met de afrekencultuur in het onderwijs!, uitgeverij Boom, Amsterdam.

Koretz, D., Measuring Up: What Educational Testing Really Tells Us. Cambridge, MA: Harvard University Press 2008a, 353.

Koretz, D., 2008. ‘A Measured Approach: Value-Added Models Are a Promising Improvement, But No One Measure Can Evaluate Teacher Performance.’ American Educator, jg. 32, nr. 3, 19-39. http://www.aft.org/newspubs/periodicals/ae/fall2008/

McCaffrey, D.F., J.R. Lockwood, D. Koretz, T.A. Louis en L. Hamilton, 2004. ‘Models for Value-Added Modeling of Teacher Effects’, Journal of Educational and Behavioral Statistics, jg. 29, nr. 1, 67-101.

Ravitch, D., 2013. Reign of error: The hoax of the privatization movement and the danger to America’s public schools. New York, NY: Knopf, Random House.

Dick van der Wateren, 2013. Zin en onzin van testen, vergelijken en afrekenen. In: René Kneyber en Jelmer Evers, red. Het Alternatief – Weg met de afrekencultuur in het onderwijs! Amsterdam. Uitg. Boom.