Over of niet: de invloed van de voorgaande beslissingen.

Uit onderzoek blijkt dat bij een serie beslissingen, de plek in de serie uitmaakt voor de uitkomst van de beslissing. Hoe zit dat in het onderwijs?

Resultaten uit het onderzoek

In de podcast van 16 november 2016 met de titel “How to Make a Bad Decision”[i] wordt stilgestaan bij de effecten die individuele beslissingen op elkaar hebben wanneer ze genomen worden in een serie. Hierbij wordt ingegaan op de zogenaamde Gambler’s Fallacy: wanneer er met een dobbelsteen gegooid wordt, en één getal lang niet gegooid is, zou de kans op dat getal steeds groter worden.

Onderzoek

Chen, Moskowitz en Shue[ii] hebben dit effect onderzocht en rapporteren uitgebreid op alle drie de onderzochte gebieden effecten die voor betrokkenen van belang zijn. Voor een sportwedstrijd is een onjuiste beslissing van de scheidsrechter van belang, voor een asielzoeker neemt dat belang alleen maar verder toe. Gemeenschappelijk hebben al deze velden dat beslissingen die feitelijk onafhankelijk zouden moeten zijn, afhankelijk worden wanneer ze in een serie gezet worden. Een baseball scheidsrechter houdt wel degelijk rekening met de uitkomst van de eerste worp bij het beoordelen van de tweede. Want als de eerste uit is, dan kan de tweede toch niet ook uit zijn? Zo ook bij het beoordelingen van aanvragen voor een lening. Wanneer er een stapel verzoeken doorgenomen moet worden, dan kan het toch niet zo zijn dat ze allemaal goedgekeurd worden? Dus na een serie goedkeuringen, neemt de kans op een afwijzing alleen maar toe.

Blijkbaar kunnen we de beslissingen in een serie niet los van elkaar zien. Ook niet als ze dat feitelijk wel zijn. Mensen zijn dus op zoek naar patronen om te volgen, ook al is er geen. In de discussie bespreken Chen et.al. alternatieve verklaringen voor het gevonden effecten:

Sequential Contras Effect

Het eerste dat zij bespreken is het Sequential Contrast Effect. Dit effect ontstaat wanneer de verwachtingen en/of de beoordelingsnormen beïnvloed zijn door een voorgaande beslissing. Denk aan het bezoek aan een concert: de waardering voor het concert waar nu naar geluisterd wordt, wordt mede bepaalt door de kwaliteit van de vorige editie. Mensen kunnen niet anders dan die vergelijken. En dan kan het zijn dat de kwaliteit van het gehoorde te hoog wordt ingeschat, of juist onevenredig negatief wordt beoordeeld.

Quota’s and Learning

Bij het nemen van beslissingen in een serie kan er natuurlijk ook effect zijn van (zelf) opgelegde aantallen die behaald of vermeden moeten worden. Wanneer bij het beoordelen van leningen de medewerker de opdracht heeft om per tijdseenheid er zeker 70% goed te keuren, heeft die opdracht gevolgen voor de beslissingen. Daarnaast kan de beoordeling van de ene casus een leereffect veroorzaken, wat er toe leidt dat de volgende beslissing anders uitvalt. Wanneer bij het toekennen van leningen bekend geworden is dat bepaalde groepen niet goed terugbetalen, dan heeft dat effect op de beslissing, ook al veranderen de formele normen niet.

External Perceptions an Preferences for Alternation and Fairness

Als laatste bespreken Chen et.al. externe invloeden. Het kan natuurlijk zijn dat bv de betrokken rechters heel goed weten dat de beslissingen onderling onafhankelijk moeten zijn, maar dat zij zich laten beïnvloeden door maatschappelijke druk. Bijvoorbeeld door groeperingen die de onafhankelijkheid van de beslissingen onderling niet zien danwel onderschrijven. Het laatste levert de situatie op dat diezelfde rechter niet als “soepel” of “strikt” over wil komen.

Lessen voor het onderwijs

In het onderwijs zullen de verschillende effecten, door elkaar in wisselende samenstelling, zich voordoen. Een paar eenvoudige voorbeelden en richtingen voor voorkomen van deze effecten.

Bij het nakijkwerk

In mijn opleiding voor mijn bevoegdheid wiskunde is er aangedrongen op het nakijken per opgave, in plaats van opkijken per leerling. Hiermee worden volgorde effecten per leerling zoveel mogelijk bestreden. Toch kan er bij het nakijken van een proefwerk een beeld over “hoe het gemaakt is”, dat van invloed is op de wijze van scoren. Wanneer de eerste paar leerlingen een opgave excellent beantwoorden en er volgt een antwoord dat gewoon goed is, dan wordt daar strenger naar gekeken. Want waarom is dat antwoord ook niet excellent? Had dat niet beter gekund?
De effecten per opgave binnen een proefwerk zijn lastig te bestrijden. De gevolgen voor leerlingen wel: zorg er voor dat de stapel steeds geschut wordt.

Bij rapportvergaderingen

Bij rapportvergaderingen, vooral bij overgangsvergaderingen, is de volgorde van bespreken van groot belang. Hier treden, wanneer er niet scherp opgelet wordt, verschillende effecten op. Allereerst is de het volgorde-effect nogal eens aanwezig: bij de bespreking van een aantal grensgevallen, heeft de laatste andere kansen dan de eerste. Wanneer een leerling met de hakken over bevorderd is, nemen de kansen op dezelfde beslissing bij de daaropvolgende leerling af. Want “we kunnen niet iedereen zomaar over laten gaan”, “we hebben er al zes met de hakken over”, enz, zijn door mij vaakgehoorde argumenten. Hiermee wordt direct verwezen naar de Gambler’s Fallacy, en naar het Sequential Contrast Effect. Maar ook: “we kunnen het niet maken om de halve klas te laten doubleren”, een verwijzing naar de alternatieven, zijn vaak gehoord. Een variant hierop is de wet van Posthumus, waarbij de norm is dat in het onderwijs ongeveer één derde een onvoldoende kan hebben.

Moskwitz noemt in de podcast voor deze laatste effecten een heldere oplossing: verbreek de serie door de verschillende leerlingen in tijd gezien, los van elkaar te bespreken. Dit wordt op scholen vaak vormgegeven in de vorm van een zogenaamde revisievergadering. In deze vergadering wordt de door de docentenvergadering genomen nogmaals besproken en zo nodig herzien.

Conclusie

Mensen zijn feilbaar. Deze podcast, dit artikel, maakt dit maar weer eens duidelijk. Dat beslissingen over het werk van leerlingen statistisch onafhankelijk moeten zijn, spreekt voor zich. Hoe dat te organiseren is nog wel een opgave. Wanneer we ons er van bewust zijn en die feilbaarheid accepteren en daar rekening mee houden, zijn we halverwege.

[i] “How to Make a Bad Decision” Podcast en transcript binnengehaald op 14 december 2016 van freaconomics.com.

[ii] Chen, D.L, Moskowitz, T.J. & Shue, K. (2016) Decision-Making Under the Gambler’s Fallacy: Evidence from Asylum Judges, Loan Officers, and Baseball Umpires. Binnengehaald op 14-12-206 van ssrn.com

About Paul Ket

Paul Ket studeerde onderwijskunde aan de universiteit Twente en is, na 10 jaar werkzaam geweest te zijn in de universitaire wereld en als teamleider in het vmbo (Wellantcollege), sinds kort weer docent wiskunde, verbonden aan Revius Lyceum Doorn.

5 Reacties to “Over of niet: de invloed van de voorgaande beslissingen.”

  1. Dank. Mooie aanvulling op mijn eerdere stukje over die rapportvergaderingen (http://alderikvisser.blogspot.nl/2015/07/rapportvergaderingen.html) Vraag blijft: (hoe) zou je zulke dynamieken bewust kunnen maken, om zulke ongewenste subjectieve elementen eruit te filteren?

    Like

    • Dank voor je aanvulling.
      En dat deze effecten meespelen bij rapportvergaderingen wisten we inderdaad al langer. Dat het op micro-niveau, bij het nakijken van leerlingwerk ook meespeelt, dat had ik mij niet gerealiseerd (hoe naief kan je zijn). Dus vanaf nu leg ik het werk van leerlingen niet meer op alfabet en verander ik de volgorde na elke opdracht. Zo simpel kan het zijn.

      Like

Trackbacks/Pingbacks

  1. Toetstechniek voor docenten (5): nakijken (bis) | Blogcollectief Onderzoek Onderwijs - 28 december 2016

    […] de volgorde in de stapel werk te wisselen, verdeel je de volgorde-effecten over zoveel mogelijk […]

    Like

  2. Drie aanwijzingen voor nakijken. – Math Paul - 12 januari 2017

    […] de volgorde in de stapel werk te wisselen, verdeel je de volgorde-effecten over zoveel mogelijk […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je volledige naam en achternaam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: