Zouden we niet beter liegen over de resultaten van cito- en oriëntatieproeven?

Stel je voor: je krijgt te horen dat je goed gepresteerd hebt op een test, maar dat was in feite niet het geval. Zou je daarna toch slecht scoren op het vervolgtraject of even goed als de mensen die de originele test wel goed aflegden. Of stel: je behoort tot de minst goed scorende groep voor een ingangsexamen tandartskunde maar je bent wel gemotiveerd en per ongeluk mag je samen met de sterkst scorende groep toch starten. Hoe zou je dan presteren?

In Vlaanderen lezen we momenteel veel over de niet-bindende Columbus-oriëntatieproef die voorbereid wordt. In Nederland is er sinds de rapporten van de inspectie weer een groot debat over de rol van de CITO-toets bij de doorverwijzing van leerlingen naar het voortgezet onderwijs. Oriëntatie is inderdaad zeer belangrijk. Kinderen helpen met juiste keuzes maken die een invloed hebben op de rest van hun leven is cruciaal.

De twee voorbeelden uit mijn inleiding zijn echter niet lukraak gekozen. Beide zijn echt gebeurd, toevallig allebei in Zweden. Het eerste voorbeeld is geplukt uit een recente onderzoekspaper waarbij de gevolgen worden bekeken op lange termijn van leerkrachten die bewust de resultaten van hun leerlingen manipuleren ten voordele van het kind. Een puntje extra omdat de leerkracht bijvoorbeeld een slechte dag bij het kind vermoedde. Wat blijkt: deze leerlingen presteren later merkelijk beter:

This paper analyzes the long-term consequences of teacher discretion in grading of high-stakes tests. Evidence is currently lacking, both on which students receive test score manipulation and on whether such manipulation has any real, long-term consequences. We document extensive test score manipulation of Swedish nationwide math tests taken in the last year before high school, by showing significant bunching in the distribution of test scores above discrete grade cutoffs. We find that teachers use their discretion to adjust the test scores of students who have “a bad test day,” but that they do not discriminate based on gender or immigration status. We then develop a Wald estimator that allows us to harness quasi-experimental variation in whether a student receives test score manipulation to identify its effect on students’ longer-term outcomes.

En er zijn enorme gevolgen:

Despite the fact that test score manipulation does not, per se, raise human capital, it has far-reaching consequences for the beneficiaries, raising their grades in future classes, high school graduation rates, and college initiation rates; lowering teen birth rates; and raising earnings at age 23.

Zodoende:

The mechanism at play suggests important dynamic complementarities: Getting a higher grade on the test serves as an immediate signaling mechanism within the educational system, motivating students and potentially teachers; this, in turn, raises human capital; and the combination of higher effort and higher human capital ultimately generates substantial labor market gains. This highlights that a higher grade may not primarily have a signaling value in the labor market, but within the educational system itself.

Het tweede, het voorbeeld rond het toegangsexamen voor tandartsen, gebeurde evenwel ook in Zweden in 1993, maar per ongeluk. Ik leerde het deze week kennen via Sara Hjelm. Behalve dat onlangs duidelijk werd dat er ook een groep studenten die wel een mooie score behaalden niet mochten starten (ouch), bleken de slechtere scorende studenten toch goed te presteren.

Is dit nu een verhaal tegen selectie- en oriëntering door objectieve testen? Nee. Is het een pleidooi voor liegen? Je zou het bijna vermoeden, maar belangrijk: in beide gevallen wisten de deelnemers niet dat er ‘vals’ gespeeld werd. Geen onbelangrijk gegeven. Het zijn misschien gewoon extreme voorbeelden van self fulfilling prophecies.

Misschien is het vooral een pleidooi voor het geven van voordeel van de twijfel en het geven van kansen die ook als kansen ervaren worden.

2 Reacties to “Zouden we niet beter liegen over de resultaten van cito- en oriëntatieproeven?”

  1. Ik zou benieuwd zijn hoe hier met twee aanvullende theorieën meer zicht op het werkingsmechanisme kan worden gekregen. In de eerste plaats de growth-mindset theorie van Carol Dweck, die stelt dat feedback van leraren erop gericht moet zijn leerlingen te laten ervaren dat ze kunnen leren. Bemoedigen dus, in plaats van beoordelen, hoewel dat een stuk gedetailleerder ligt dan doorgaans gedacht wordt (Dweck ging hier zelf vorig jaar uitgebreid op in).
    https://www.tes.com/news/school-news/breaking-news/carol-dweck-whole-idea-growth-mindset-say-yes-they-can

    Ten tweede de SDT (self-determination theory) die uitgaat van de basisbehoeften relatie, competentie en autonomie. Misschien spelen de hogere resultaten in op de behoefte aan competentie, waardoor leerlingen daarna meer gemotiveerd raken.

    Maar dit is natuurlijk allemaal maar speculatie omdat ik geen zicht heb op de details van de studie. Hoe dan ook lijkt het me van belang te kijken naar de daadwerkelijke relatie tussen leraren en leerlingen en hoe die zich uit in de specifieke, concrete feedback die gegeven wordt. Die is altijd van veel meer impact dan alleen de hoogte van het cijfer.

    Like

  2. Mijn ervaring is dat als je in een eerste cursusjaar met 3 toetsmomenten de 1e toets opwaardeert en de groep complimenteert als een duidelijk beter dan gemiddeld presterende groep studenten, dan heeft dat een positief effect op de gemiddelde resultaten van de 2e en 3e toets. De indruk was dat dit effect ook in het volgende studiejaar nog doorwerkte. Het is moeilijk om een overtuigende onderzoeksopzet te vinden waarmee bewijs kan worden geleverd voor dit effect, maar het is uiteraard mogelijk om als docent altijd te kiezen voor meerdere toetsmomenten en de eersten te gebruiken om de leerlingen met relatief hoge cijfers te motiveren en te stimuleren om voor jouw cursus harder te werken en betere eindresultaten te halen.
    Deze ervaring bracht ons destijds wel op het idee om groepseffecten in individuele leerresultaten te onderzoeken. Is het waar dat door een paar goede leerlingen in een groep het niveau van de totale groep kan worden opgetrokken? En omgekeerd, kunnen individuele prestaties ook verslechteren door het geringere ambitie- of prestatieniveau van de groep? Zonder een empirische specificatie van de leerling-leerling en de leerling-leerkracht interacties op schoolprestaties blijft het speculeren.

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: