Stel je voor: je krijgt te horen dat je goed gepresteerd hebt op een test, maar dat was in feite niet het geval. Zou je daarna toch slecht scoren op het vervolgtraject of even goed als de mensen die de originele test wel goed aflegden. Of stel: je behoort tot de minst goed scorende groep voor een ingangsexamen tandartskunde maar je bent wel gemotiveerd en per ongeluk mag je samen met de sterkst scorende groep toch starten. Hoe zou je dan presteren?

In Vlaanderen lezen we momenteel veel over de niet-bindende Columbus-oriëntatieproef die voorbereid wordt. In Nederland is er sinds de rapporten van de inspectie weer een groot debat over de rol van de CITO-toets bij de doorverwijzing van leerlingen naar het voortgezet onderwijs. Oriëntatie is inderdaad zeer belangrijk. Kinderen helpen met juiste keuzes maken die een invloed hebben op de rest van hun leven is cruciaal.

De twee voorbeelden uit mijn inleiding zijn echter niet lukraak gekozen. Beide zijn echt gebeurd, toevallig allebei in Zweden. Het eerste voorbeeld is geplukt uit een recente onderzoekspaper waarbij de gevolgen worden bekeken op lange termijn van leerkrachten die bewust de resultaten van hun leerlingen manipuleren ten voordele van het kind. Een puntje extra omdat de leerkracht bijvoorbeeld een slechte dag bij het kind vermoedde. Wat blijkt: deze leerlingen presteren later merkelijk beter:

This paper analyzes the long-term consequences of teacher discretion in grading of high-stakes tests. Evidence is currently lacking, both on which students receive test score manipulation and on whether such manipulation has any real, long-term consequences. We document extensive test score manipulation of Swedish nationwide math tests taken in the last year before high school, by showing significant bunching in the distribution of test scores above discrete grade cutoffs. We find that teachers use their discretion to adjust the test scores of students who have “a bad test day,” but that they do not discriminate based on gender or immigration status. We then develop a Wald estimator that allows us to harness quasi-experimental variation in whether a student receives test score manipulation to identify its effect on students’ longer-term outcomes.

Despite the fact that test score manipulation does not, per se, raise human capital, it has far-reaching consequences for the beneficiaries, raising their grades in future classes, high school graduation rates, and college initiation rates; lowering teen birth rates; and raising earnings at age 23.

The mechanism at play suggests important dynamic complementarities: Getting a higher grade on the test serves as an immediate signaling mechanism within the educational system, motivating students and potentially teachers; this, in turn, raises human capital; and the combination of higher effort and higher human capital ultimately generates substantial labor market gains. This highlights that a higher grade may not primarily have a signaling value in the labor market, but within the educational system itself.

Het tweede, het voorbeeld rond het toegangsexamen voor tandartsen, gebeurde evenwel ook in Zweden in 1993, maar per ongeluk. Ik leerde het deze week kennen via Sara Hjelm. Behalve dat onlangs duidelijk werd dat er ook een groep studenten die wel een mooie score behaalden niet mochten starten (ouch), bleken de slechtere scorende studenten toch goed te presteren.

Is dit nu een verhaal tegen selectie- en oriëntering door objectieve testen? Nee. Is het een pleidooi voor liegen? Je zou het bijna vermoeden, maar belangrijk: in beide gevallen wisten de deelnemers niet dat er ‘vals’ gespeeld werd. Geen onbelangrijk gegeven. Het zijn misschien gewoon extreme voorbeelden van self fulfilling prophecies.

Misschien is het vooral een pleidooi voor het geven van voordeel van de twijfel en het geven van kansen die ook als kansen ervaren worden.