Dit is een gastblog van de Belgische docent Ruben De Baerdemaeker. Hij is sinds een jaar of tien leerkracht Engels, Duits en Nederlands in Gent. Hij promoveerde in de Engelse letterkunde, en probeert nu ook zijn leerlingen warm te maken voor taal en boeken.

Rubrics zijn overal. Ze worden gepropageerd in lerarenopleidingen, op nascholingen en studiedagen. Er worden boeken en websites aan gewijd. Er zijn (al dan niet lucratieve) apps, plugins en tools bij de vleet, de gevreesde doorlichting verwacht ze, en leerkrachten produceren en gebruiken ze sinds een tiental jaar braafjes en massaal.

Vlaanderen loopt daarbij (zoals wel vaker het geval is) stevig achter op de rest van de onderwijswereld: rubrics werden al in de jaren ‘70 van de vorige eeuw in de VS geïntroduceerd om studentenstromen in het hoger onderwijs beheersbaar te houden – en niet veel later kwamen de eerste kritische bedenkingen erbij al bovendrijven. In 2006 gooide leerkracht Maja Wilson een stevige knuppel in het hoenderhok in de vorm van haar boek Rethinking Rubrics in Writing Assessment. Bij ons te lande blijft het debat voorlopig eerder uit; wellicht zijn we te druk bezig met het opstellen van rubrics om er ernstig over na te denken.

Dat hoeft ook niet te verwonderen: rubrics lijken de perfecte strategie om spreek- en schrijfopdrachten objectief en vlot te evalueren. Zoals Wilson schrijft:

[Rubrics] promise to save time. They promise to boil down a messy process down to four to six rows of nice, neat, organized little boxes. Who can resist their wiles? They seduce us with their appearance of simplicity and objectivity and then secure their place in our repertoire of assessment techniques with their claim to help us clarify our goals and guide students through the difficult and complex task of writing.

Wie kan daar nu iets op tegen hebben?

En toch klinkt er soms gemor in de leraarskamer: waarom vallen die scores soms zo hoog uit? (Hoe meer categorieën in je rubric, hoe hoger de score!) Waarom krijgen totaal verschillende werkstukken toch exact dezelfde beoordeling in een rubric? Waarom zijn we zo vaak ontevreden met een eindbeoordeling (en keren we dan soms terug om hier of daar nog een half puntje bij te geven of af te trekken)?

De leerkracht en de expert

Wie zich even verdiept in dit vraagstuk, botst al snel op een merkwaardige discrepantie: handboeken en wetenschappelijke artikelen dragen de deugdelijkheid van rubrics uit, maar tegelijk stoot je algauw op honderden blog- en forumposts met kritische bedenkingen van leerkrachten. In juni 2020 verscheen het artikel “A Critical Review of the Arguments Against the Use of Rubrics” in de Educational Research Review. Ik kan dat artikel niet lezen (want als gewone leerkracht heb ik natuurlijk geen toegang tot teksten achter de betaalmuur van Academia) maar het “abstract” besluit dat kritiek vaak tot stand komt op basis van “anecdotal evidence and/or personal experiences, which have limited value as scientific evidence.”

Als het in deze discussie zou gaan over het nut van vaccinatie of de werkzaamheid van homeopathie, dan zou ik de auteurs meteen volmondig bijtreden. Een wetenschappelijke publicatie zou epistemologisch waardevoller moeten zijn dan een blogpost – en natuurlijk is persoonlijke ervaring niet het eindpunt van wetenschappelijk onderzoek. 

Maar als het over onderwijs gaat, is deze redenering misschien minder dwingend: onderwijsexperts staan vaak immers niet zelf in de klas – en al helemaal niet in de onderwijscontext waarover zij publiceren. Er gaapt een kloof tussen de pedagoog die achter een bureau nadenkt over evaluatiemethodes en de leerkracht die geacht (soms verplicht) wordt om die methodes toe te passen. 

Plato in het bed van Procrustes

In zijn bekendste boek The Black Swan introduceerde systeemtheoreticus Nassim Taleb het begrip “platoniciteit”: de menselijke voorliefde voor het abstracte model – en de al even menselijke onwil om te aanvaarden dat de werkelijkheid zich niet naar het model plooit. Die werkelijkheid is immers organischer, wanordelijker, onvatbaarder dan een abstracte representatie ervan. Platoniciteit verklaart de kloof tussen de pedagoog en de leerkracht: de eerste stelt een model op, de tweede moet met dat model “iets” aanvangen met betrekking tot levensechte kinderen en (jong)volwassenen die zich van dat model al snel niets blijken aan te trekken. 

Maar platoniciteit verklaart vooral het inherent problematische karakter van rubrics: zo’n rubric is immers een abstractie, een tabel met netjes afgebakende categorieën, die dan iets moet zeggen over een potentieel complex, wanordelijk, soms organisch fenomeen als de tekst die een leerling heeft geproduceerd. 

Natuurlijk is het best mogelijk dat te doen – het is een dagdagelijkse praktijk – maar dat betekent niet dat de uitspraken die een rubric doet over die tekst ook perfect van toepassing zijn. Vergelijk deze mogelijke, vrij typische, beoordelingsstatements in de categorie “structuur”:

1. Je tekst is duidelijk gestructureerd en je neemt de lezer mee door je gedachtegang. Je tekst is verdeeld in paragrafen, en je gebruikt signaalwoorden om de samenhang tussen die paragrafen duidelijk te maken. 
2. Je tekst is duidelijk gestructureerd, maar je gedachtegang is niet altijd duidelijk voor de lezer. De verdeling in paragrafen is niet altijd logisch, of er ontbreken soms signaalwoorden om de samenhang ertussen duidelijk te maken.
3. Je tekst is niet duidelijk gestructureerd en je lezer kan je gedachtegang niet altijd volgen. Paragrafen ontbreken of zijn niet logisch afgebakend en/of je gebruikt onvoldoende signaalwoorden om samenhang duidelijk te maken.

Als ik een rubric opstel, kan ik best tevreden zijn over deze omschrijvingen: ze maken duidelijk wat ik verwacht voor een topscore (en voor een gemiddelde of onvoldoende score), de leerling weet waarop hij of zij moet letten, en de instructie is behoorlijk concreet. Maar als ik deze eigenste tekst kritisch herlees tot op dit punt, moet ik al meteen bekennen dat het met die signaalwoorden niet altijd helemaal snor zit. Tegelijk hoop ik dat de lezer nog steeds kan volgen, en dat de argumentatie overeind blijft. Geen van beide uitspraken verwoordt dus naadloos mijn beoordeling. Ik kan natuurlijk mogelijkheid A of B aanduiden – en dat kan ik doen in eer en geweten – maar toch voel ik dat mijn keuze geen exacte uitspraak doet over de werkelijkheid die ik als evaluator ervaar.

Sterker nog: als ik even snel een boek met essays open sla (dat is nu toevallig Both Flesh and Not van David Foster Wallace), dan merk ik dat zelfs paragrafen daar niet altijd helemaal voldoen aan mijn strenge criteria, en dat ik dus alweer niet echt kan kiezen. Maar dit is een van de scherpste essayisten van zijn generatie – hoe zou die geen topscore halen? Generaties geleden was Montaigne duidelijk ook niet zo bekommerd over de structuur van zijn argumentatie – ook hij zou zeker tekortschieten en in sommige gevallen misschien zelfs tussen B en C balanceren. (Van genreconventies trok de man zich duidelijk ook al helemaal niets aan – daarom vond hij net het essay uit…)

Dat is meteen het tweede, iets concretere, probleem met rubrics: ze zijn een bed van Procrustes: wie te groot is (zoals David Foster Wallace of Michel de Montaigne), die wordt een kopje kleiner gemaakt om er in te passen. Wie te klein is, moet worden uitgerekt tot de gepaste lengte. We creëren niet alleen een model van de werkelijkheid (zoals Newton die een appel ziet vallen en dat in een formule uitdrukt), we eisen daarna dat de werkelijkheid zich aanpast aan het model (alsof de fysicus de appel zou verwijten dat die niet met de juiste valversnelling uit de boom valt).

Shades of Mediocrity

And all my words come back to me, in shades of mediocrity. (Paul Simon)

De problemen die dit met zich meebrengt, zijn niet triviaal: het is een gangbare en sterk aangemoedigde praktijk om leerlingen een rubric te geven voor ze een opdracht maken. Dit kadert in een lovenswaardig streven naar transparantie: de leerling weet exact wat de criteria zijn waarop hij of zij zal worden beoordeeld. De opdracht is duidelijk voor iedereen, de leerkracht heeft op voorhand nagedacht over wat écht van belang is bij deze opdracht, én als leerkracht kun je zwart op wit aantonen hoe je score tot stand is gekomen.

Het perverse effect van deze werkwijze is echter dat de leerkracht al een stuk van het werk van de leerling heeft gedaan. Die hoeft er nu niet meer zelf aan te denken dat een tekst uit paragrafen bestaat: dat staat op het blad. Inleiding – midden – slot? O ja, dat staat er zwart op wit. Domeinspecifieke woordenschat? Even de woordenlijst erbij nemen. Titel? O – er staat niets over een titel. Die is wellicht niet nodig, dan.

De leerling die goed wil scoren op deze evaluatie, volgt de stappen die uitgeschreven staan in de rubric, en let op die elementen waaraan scores vasthangen. Deze leerling is op dat moment niet bezig met het schrijven van een sterke tekst, laat staan het formuleren van een eigen gedachte. Deze leerling vinkt net dezelfde checklist af die de leerkracht bij het verbeteren ook gaat afvinken. Inspiratie en engagement verdwijnen hierbij naar de achtergrond, creativiteit krijgt een zuiver functioneel bijrolletje en het nemen van risico wordt actief ontmoedigd.

Ziedaar de cirkelredenering van de rubric: we geven veel punten voor de dingen waarvoor we zeggen dat we veel punten gaan geven. Wat beloond wordt, is het slaafs opvolgen van instructies. 

Dit is niet onschuldig: we willen leerlingen opvoeden tot kritische, mondige burgers. We willen creativiteit stimuleren. We willen jonge mensen de kans geven zich te ontplooien, een identiteit te vormen, te leren met vallen en opstaan. En toch worden ze beoordeeld op de mate waarin ze zich kunnen en willen conformeren aan onze vooropgestelde doelen.Wat we eigenlijk waarderen aan een geschreven tekst, riskeert zo buiten de rubric te vallen: creativiteit valt nu eenmaal niet te voorspellen met evaluatiecriteria; anders is het geen creativiteit meer! Bob Broad, auteur van een bijzonder kritisch boek over rubrics, zegt het zo: “The strength of (…) rubrics (…) lies in what they include; their great weakness is what they leave out.”

The Kids Are(n’t) Alright

The strength of (…) rubrics (…) lies in what they include; their great weakness is what they leave out. 

(Bob Broad)

Wat doet dit alles nu met een leerling? Tenslotte is een belangrijk argument voor het gebruik van rubrics dat deze als duidelijke en gerichte feedback fungeren. Leerlingen zien waar hun werkpunten zitten, en kunnen daar bij een volgende schrijf- of spreekopdracht rekening mee houden, zo luidt de theorie.

Een begaafde leerling met een vlotte taalbeheersing kan, zoals hierboven beschreven, erg goed scoren op een rubric als hij of zij de aangegeven criteria netjes integreert in een werkstuk. Deze leerling zal dan ook tevreden zijn met de verbetering en de score: alles prima, hier en daar een werkpuntje. Maar wat leert die leerling nu eigenlijk bij? Op welke manier draagt deze feedback bij tot het verbeteren van schrijf- of spreekvaardigheid? Heeft deze leerling het gevoel dat zijn of haar ideeën ernstig genomen zijn door de beoordelende leerkracht?

Een leerling die het moeilijker heeft met schrijven, zal misschien ook braaf alle stappen proberen te volgen die nodig zijn, en zal zijn of haar best doen om met zo veel mogelijke formele criteria in orde te zijn. Hij of zij zal, bij het terugkrijgen van die rubric, opmerken dat de score uiteindelijk toch tegenvalt: een leerling die slaagt voor pakweg de structuur en de layout van zijn tekst, maar laag scoort voor spelling, grammatica en syntaxis, wordt daar niet blij van – en, veel erger: wordt niet gemotiveerd om daaraan te werken. Rubrics bevatten meestal geen (doorslaggevende) categorieën waarop deze leerling kan uitblinken, ook al heeft hij of zij dan originele ideeën of creatieve oplossingen. 

En dan is er het buitenbeentje: de tegendraadse, kritische leerling die maar wat graag tegen schenen schopt en buiten de lijntjes kleurt. Deze leerling kan een tekst produceren die volledig ingaat tegen de richtlijnen. Het taalregister is misschien niet aangepast, de structuur van de tekst is niet zoals vooropgesteld, hier en daar een slordige taalfout. Misschien is de tekst inhoudelijk en talig nochtans schitterend. Misschien spreekt er persoonlijkheid, inzicht en durf uit. Volgens de rubric is dit echter een matig werkstukje dat een ditto score verdient. Deze leerling heeft dan ook geen enkele reden om zich bij een volgende gelegenheid de moeite te getroosten om echt over de opdracht na te denken en verliest helemaal zijn interesse in je vak en je opdrachten.

Leerlingen van alle leeftijden hebben vaak een sterk ontwikkelde bullshitdetector: zij voelen de beperkingen van zo’n rubric ook wel aan. Maar leerlingen hechten ook veel belang aan de authenticiteit van hun leerkrachten, en zij voelen aan dat rubrics een authentieke reactie op hun werk in de weg staan: die geven immers een schijnbaar objectieve beoordeling – geen subjectieve menselijke respons.

En nu?

Er zijn heel wat redenen om kritisch na te denken over rubrics, en de manier waarop we spreek- en schrijfopdrachten van leerlingen beoordelen. Dit bescheiden essaytje is vooral een poging om het debat daarover te openen – niet om per se alle rubrics uit het onderwijs te bannen, noch om een andere methode als panacee naar voor te schuiven. 

Schrijven en spreken zijn immers – net als alle elementen die onderwijs interessant maken – dynamische, organische, soms chaotische, en vooral persoonlijke processen. En de evaluatie daarvan is dat ongetwijfeld ook.

Bibliografie

Borman, Deborah. “De-grading Assessment: Rejecting Rubrics in Favor of Authentic Analysis.” Seattle University Law Review, vol. 41.

Broad, Bob. WHAT WE REALLY VALUE Beyond Rubrics in Teaching and Assessing Writing. Logan, Utah, Utah State University Press, 2003.

Panadero, Ernesto, and Anders Jonsson. “A critical review of the arguments against the use of rubrics.” Educational Research Review, vol. 30, 2020.

Taleb, Nassim Nicholas. The Black Swan. The Impact of the Highly Improbable. London, Penguin, 2008.Wilson, Maja. Rethinking Rubrics in Writing Assessment. Portsmouth, Heinemann, 2006.

Gastblogger

Gastbloggers publiceren op uitnodiging en op persoonlijke titel. Hun visie is niet noodzakelijkerwijs de visie van het Blogcollectief. Commerciële uitingen worden niet geplaatst.