Toegevoegde waarde meten is nog lang niet van de baan

Hoewel de ideeën in het boek ‘Het Alternatief’ in brede kring enthousiast zijn ontvangen – zelfs in de Tweede Kamer zijn die veel besproken en ook Minister Bussemaker citeerde instemmend uit het boek – is het idee om de toegevoegde waarde van leraren en scholen te meten nog lang niet uit de wereld. Staatssecretaris Dekker is nog steeds een voorstander van het publiceren van Cito-scores van basisscholen: “Dan kunnen ouders de beste school voor hun kind kiezen.” Veel media zijn nog steeds bereid de namen van ‘goede’ en ‘slechte’ scholen te publiceren, ook al weten ze dat de cijfers verre van betrouwbaar zijn.

Toegevoegde waarde is een economisch begrip dat, toegepast op het onderwijs, de ‘waarde’ meet van een docent uitgedrukt in de ‘leerwinst’ die zijn of haar leerlingen in een jaar weten te halen. Op het eerste gezicht is dat een goede benadering van de kwaliteit van het onderwijs en als het werkt kan het ouders zeker helpen bij de keuze van de juiste school voor hun kinderen. En als er een methode bestaat om toegevoegde waarde te meten, die voldoende betrouwbaar is, zouden beleidsmakers die kunnen inzetten om de kwaliteit van scholen en leraren te vast te stellen. In mijn bijdrage aan ‘Het Alternatief’ laat ik zien dat zo’n betrouwbare methode niet bestaat.

In Nederland heeft prof. Jaap Dronkers geprobeerd toegevoegde waarde toe te passen in de scholenranglijsten die jaarlijks in De Volkskrant (en vroeger in Trouw) worden gepubliceerd. Ook de Cito-scores, die onlangs door RTL Nieuws zijn gepubliceerd waren een poging om door middel van toegevoegde waarde tot een betrouwbare ranglijst van scholen te komen. Dat beide soorten ranglijsten de plank jammerlijk misslaan heb ik, behalve in ‘Het Alternatief’ hier aangetoond. Ook vanuit wetenschappelijke hoek staat de ‘methode Dronkers’ onder vuur.

In de Verenigde Staten wordt bij het onderwijsbeleid al langere tijd gebruik gemaakt van methoden gebaseerd op ‘value added models’ (VAM). In het kader van ‘No Child Left Behind’ dat onder George W. Bush is begonnen en Obama’s ‘Race to the Top’ worden scholen en leraren afgerekend met van VAMs afkomstige cijfers. Dat heeft geleid tot het publiekelijk te schande maken van de ‘slechtste’ leraren (zie New York’s worst teacher), ontslagen en sluiting van ‘slechte’ scholen. Dat het hier vaak gaat om docenten op scholen in de armste buurten met een groot aandeel leerlingen die het Engels nauwelijks machtig zijn, weerhoudt beleidsmakers (met onderwijsminister Arne Duncan voorop) er niet van op deze heilloze weg voort te gaan. De situatie in het amerikaanse onderwijs wordt nog verergerd door de opkomst van charter schools, privaat gefinancierde scholen, uiterst winstgevende ondernemingen die leerlingen van public schools overnemen.

Het zal niet verbazen dat value-added models uiterst controversieel zijn en dat de beweging om die af te schaffen steeds sterker wordt. Ouders trekken hun kinderen terug bij de afname van standaardtests, scholen weigeren die nog langer uit te voeren en in sommige staten worden VAMs niet meer gebruikt, soms zelf met het argument dat ze in zo’n staat ongrondwettelijk zijn. Maar ook vanuit wetenschappelijke kringen is er grote kritiek op de toepassing van VAMs om leraren en scholen af te rekenen. Opmerkelijk genoeg zijn vooral de wetenschappers die zelf deze, statistisch gecompliceerde, methoden ontwikkelen het meest uitgesproken in hun afwijzing van wat zij als misbruik van hun methoden beschouwen. In ‘Het Alternatief’ noem ik Daniel Koretz, wiens boek Measuring Up: What Educational Testing Really Tells Us ik van harte aanbeveel. In enkele artikelen (Koretz, 2008; McCaffrey e.a., 2004) rekenen hij en zijn collega’s af met het verkeerde gebruik van VAMs.

VAMboozled!

In ‘Het Alternatief’ noem ik ook Audrey Amrein-Beardsley, wiskundige en universitair docent, die in 2008 in een kritische studie van vermoedelijk de beste VAM vaststelt:

High-stakes beslissingen mogen niet worden genomen op basis van een enkele testscore’,
‘De nauwkeurigheid van de methode moet worden vastgesteld’ en
‘De negatieve neveneffecten van high-stakes beoordelingen moeten worden bekendgemaakt aan beleidsmakers.’

Zij is onlangs, samen met enkele andere onderzoekers gestart met de blog VAMboozled!:

[…] a blog about the issues surrounding teacher evaluation, teacher accountability, and value-added models (VAMs) in America’s public schools. VAMboozled! is also about the related issues surrounding America’s educational reform and accountability initiatives, and the related federal and state policies being advanced, incentivized, adopted, and implemented across the nation. […] The goal is to make more comprehensible and more accessible research-based information about these issues, to better reach and inform teachers, administrators, policymakers, parents, students, and members of the general public, all of whom are stakeholders, and who should ultimately be involved.

VAMboozled! biedt behalve goed leesbare posts over VAMs en het afrekenen van leraren een uitgebreide referentielijst van wetenschappelijke artikelen over Value-Added Models, High-Stakes Tests en VAMs en lerarenopleidingen. Iedereen die de ontwikkelingen op het gebied van ‘toegevoegde waarde’ wil volgen, raad ik aan deze blog in de gaten te houden.

Een andere studie, die twee verschillende methoden vergelijkt (Goldhaber e.a., 2013), concludeert dat het bepalen van de toegevoegde waarde van een docent sterk afhankelijk is van het gebruikte model. 9 % van de leraren, die door de ene methode als beste worden beoordeeld, worden door de andere, even redelijke methode tot de slechtste gerekend.

De conclusie is helder. Methoden om de kwaliteit van leraren te meten, die gebruik maken van toegevoegde waarde, zijn interessante hulpmiddelen voor wetenschappelijk onderzoek, mits kritisch gehanteerd. Daarop onderwijsbeleid baseren is een grote vergissing, die rampzalige gevolgen kan hebben. Wie denkt dat ik overdrijf, raad ik aan de blog van Diane Ravitch te volgen, die onlangs het boek Reign of Error schreef dat in de VS veel aandacht kreeg.

________________________________

Bronnen

Amrein-Beardsley, A., 2008. ‘Methodological Concerns About the Education Value-Added Assessment System’, Educational Researcher, jg. 37, nr. 2, 65-75. http://edr.sagepub.com/cgi/doi/10.3102/0013189X08316420

Goldhaber, D.D., P. Goldschmidt en F. Tseng, 2013. ‘Teacher Value-Added at the High-School Level: Different Models, Different Answers?’, Educational Evaluation and Policy Analysis, jg. 35, nr. 2, 220-236. http://epa.sagepub.com/cgi/content/long/35/2/220

René Kneyber en Jelmer Evers, 2013. Het Alternatief: Weg met de afrekencultuur in het onderwijs!, uitgeverij Boom, Amsterdam.

Koretz, D., Measuring Up: What Educational Testing Really Tells Us. Cambridge, MA: Harvard University Press 2008a, 353.

Koretz, D., 2008. ‘A Measured Approach: Value-Added Models Are a Promising Improvement, But No One Measure Can Evaluate Teacher Performance.’ American Educator, jg. 32, nr. 3, 19-39. http://www.aft.org/newspubs/periodicals/ae/fall2008/

McCaffrey, D.F., J.R. Lockwood, D. Koretz, T.A. Louis en L. Hamilton, 2004. ‘Models for Value-Added Modeling of Teacher Effects’, Journal of Educational and Behavioral Statistics, jg. 29, nr. 1, 67-101.

Ravitch, D., 2013. Reign of error: The hoax of the privatization movement and the danger to America’s public schools. New York, NY: Knopf, Random House.

Dick van der Wateren, 2013. Zin en onzin van testen, vergelijken en afrekenen. In: René Kneyber en Jelmer Evers, red. Het Alternatief – Weg met de afrekencultuur in het onderwijs! Amsterdam. Uitg. Boom.

About Dick van der Wateren

Ik sta voor de klas op het Eerste Christelijk Lyceum in Haarlem en begeleid dagelijks talentvolle en begaafde leerlingen die meer uitdaging nodig hebben, of coach leerlingen die een probleem hebben waar we samen een oplossing voor vinden. Daarnaast ontwikkel ik digitaal lesmateriaal en video's voor Flip de Klas. Buiten het onderwijs heb ik een jarenlange ervaring als aardwetenschapper (o.a. in Antarctica en Afrika) en wetenschapsvoorlichter. Werken met jongeren is mijn passie. Voor mij zijn pubers zo'n beetje de leukste mensen. Ze hebben een enorme levenslust, zijn creatief, hebben originele ideeën - soms op het bizarre af - en kunnen zich nog alle kanten op ontwikkelen. Ik beschouw het als een voorrecht aan die ontwikkeling te kunnen bijdragen.

6 Reacties to “Toegevoegde waarde meten is nog lang niet van de baan”

  1. Hallo Dick,

    Een goed artikel. Ik ben absoluut geen voorstander van het gebruik van toegevoegde waarde. Ik vind wel, dat wetenschappelijke methodes, met name het gebruik van effectgroottes standaardpraktijk binnen scholen zou moeten worden. Niet om docenten “af te rekenen”, maar om voortdurend de groei van een leerling te monitoren en om de de leraar een middel in handen te geven waarmee hij verder kan kijken dan resultaten. Minder toetsen en cijferen maar wel effectief toetsen en cijferen en daar ook effectief gebruik van maken.

    Like

    • Hallo Jan
      Effectgrootte kan een goede maatstaf zijn om vorderingen van leerlingen te volgen en ons eigen handelen te evalueren. Cijferen is daarbij niet persé nodig en kan zelfs het leren in de weg staan. Het belangrijkste is dat we regelmatig toetsen, maar dan wel formatief, niet summatief. Dat betoogt althans Dylan Wiliam in zijn boek ‘Embedded Formative Assessment’ dat René Kneyber voor Nederland bewerkt heeft onder de titel ‘Cijfers geven werkt niet’. Dat boek komt op 20 november uit en kan ik iedereen aanbevelen. René geeft ook workshops met dezelfde titel http://www.handelingsbrutaal.nl/?p=294.

      Like

Trackbacks/Pingbacks

  1. Sociale herkomst en kwaliteit van VO scholen in 2015. Door Jaap Dronkers | Blogcollectief Onderzoek Onderwijs - 10 januari 2016

    […] zijn. Ze staan in mijn bijdrage aan ‘Het Alternatief’ en op onze groepsblog (hier, hier en hier). Ze betreffen zowel de methode van toegevoegde waarde meten als de beperkte kijk op […]

    Like

  2. Scholenranglijsten zijn onzin - Onderwijscoöperatie - 18 mei 2016

    […] Dick van der Wateren (2013). Toegevoegde waarde meten is nog lang niet van de baan. Blogcollectief Onderzoek Onderwijs.https://onderzoekonderwijs.net/2013/11/14/toegevoegde-waarde-meten-is-nog-lang-niet-van-de-baan/ […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: