Van je eigen fouten leer je het meest?

Truth comes out of error more readily than out of confusion.

Francis Bacon (1561-1626)

It is the true nature of mankind to learn from mistakes, not from example.

Sir Fred Hoyle (1915-2001)

Wetenschap begint vaak met een eenvoudige vraag, bijvoorbeeld: is het wel of niet nuttig als een leerling die iets nieuws  leert eerst zelf stoeit met de materie (en daarbij onvermijdelijk fouten maakt)? Dat stoeien klinkt onlogisch: de beginnende leerling zal ten eerste niet goed snappen waar ze mee bezig is en daarnaast leidt het maken van fouten misschien wel tot frustratie en het aanleren van verkeerde kennis. Toch zegt Manu Kapur, hoofd van het Learning Sciences Lab aan de Nanyang Technische Universiteit (Singapore) dat juist de onvoorspelbaarheid van gegeven problemen, de kans op het maken van fouten, en het vast komen zitten tijdens het werken eraan een positief leereffect kunnen hebben. Hij noemt dit proces productive failure en het is een onderwerp waar hij met collega’s al jaren onderzoek naar uitvoert.

Ik wil in deze bijdrage inzoomen op Kapur’s meest recente studie, die is gepubliceerd in het gerenommeerde tijdschrift Journal of the Learning Sciences. De titel ervan is Comparing learning from productive failure and vicarious failure. Het gaat om een experiment waarin twee instructiemethodes, ‘productive failure’ (PF) en ‘vicarious failure’ (VF) met elkaar worden vergeleken. Kapur betoogt dat inmiddels redelijk wat onderzoek laat zien  dat het effectief kan zijn om leerlingen met leerstof in aanraking te brengen door hen relevante problemen te laten oplossen, ook al hebben die leerlingen nog niet genoeg er over geleerd om die problemen correct op te kunnen lossen. Het zelf fouten maken is uiteindelijk wel effectief: ‘productive failure’ dus. Leerlingen wordt ook expliciet gemeld dat het niet erg is als het hen niet lukt problemen op te lossen: het gaat puur om uitproberen en grenzen verkennen. Daar tegenover stelt Kapur een situatie voor waarin leerlingen leren van de (foute) oplossingen van anderen: ‘vicarious failure’.

Onderwijs dat volgens het PF-principe ontworpen is bestaat uit twee fasen:

  1. Genereren en verkennen. In deze fase komen leerlingen op allerlei manieren in aanraking met allerlei problemen. Op basis daarvan genereren zij ‘multiple representations and solution methods’ (RSMs). De kans dat leerlingen op basis hiervan succesvol ontdekken wat het principe achter de problemen is is erg klein, weten we uit onderzoek (bijvoorbeeld Kirschner, Sweller en Clark, 2006).
  2. Kennis opbouwen. In deze fase worden door middel van gerichte instructie de verschillende RSMs georganiseerd en opgebouwd tot een serie ‘canonieke’ RSMs (correcte kennis, dus).

Kapur stelt dat PF effectief is in de zin dat het tot betere transfer leidt dan directe instructie. Daarnaast stelt hij dat het aantal RSMs dat een leerling zelf weet te genereren (meer ‘RSM diversity’) ook zal leiden tot een groter leereffect, want in dat geval wordt meer voorkennis van de leerling (voor zover aanwezig) geactiveerd. De vraag is: is de bepalende factor bij PF het zelf genereren van RSMs (en dus ook het zelf fouten maken)? Om dat te testen is een experiment nodig, waarbij PF (zelf RSMs maken) vergeleken wordt met VF (bestuderen van de RSMs van anderen). Dat betekent dat in het experiment fase 1 verschilt bij PF en VF, maar dat fase 2 in beide gevallen identiek is.

Over de vraag of PF of VF effectiever is kun je twee tegenovergestelde voorspellingen doen. Of: PF doet het beter dan VF want de eerste fase is persoonlijker, sluit beter aan bij eigen voorkennis, en is daarom voor de leerling interessanter. Of: VF doet het beter dan PF want bij PF wordt het werkgeheugen meer belast waardoor er voor het opbouwen van kennis minder ‘denkruimte’ over is, en er wordt bij PF een beroep gedaan op domeinkennis bij de leerling die wellicht tegenvalt: in het laatste geval zou PF alleen effectief zijn als de domeinkennis van de leerling van voldoende niveau is (in jargon: er treedt een ‘expertise reversal effect’ op).

Om deze voorspellingen te testen is het in dit experiment nodig om voorkennis van de leerling en cognitieve belasting te meten. Het experiment van Kapur maakte gebruik van twee scholen (school A en school B) die verschilden op algemeen prestatieniveau. In totaal 136 leerlingen (64 op school A en 72 op school B) deden mee aan het onderzoek. Op beide scholen werkte een klas volgens het PF-principe en een andere klas volgens het VF-principe. Het leerdomein waarover de les ging was ‘standaarddeviaties’.

Zoals vaker bij dit type onderzoek konden leerlingen niet willekeurig aan een conditie worden toegewezen (ze zitten tenslotte bij elkaar in een klas) waardoor dit onderzoek ‘quasi experimenteel’ is. In beide condities volgen leerlingen vier lessen, waarvan de lessen 1 en 2 fase 1 besloegen en lessen 3 en 4 fase 2. In fase 1 werkten leerlingen samen in groepjes van 2 of 3, ofwel met het zelf  oplossen van problemen (PF), ofwel het bestuderen van de uitgewerkte problemen van anderen (VF). Na de laatste les werd een kennistest afgenomen om te meten wat het leereffect was.

Voordat ik op het de resultaten inga moet ik iets over de gebruikte tests zeggen. Kapur is daar een beetje makkelijk in. Om cognitieve belasting te meten gebruikt hij (naar eigen zeggen) de eerste de beste test die hij na wat zoeken tegenkwam. Echt veel begrip van cognitieve belasting lijkt Kapur zelf ook niet te hebben (blijkt ook later in de discussie).

De kennisvoortest bestond uit 6 vragen: 5 multiple-choice en 1 open vraag (goed of fout dus ook 1 punt waard). De score op de test werd daarna lineair geschaald naar 10. Ik ga ervan uit dat de maximale score 6 dan 10 wordt, wat een  vermenigvuldiging met 10/6 (1,66…) inhoudt. Wat bleek? Geen enkele leerling had de open vraag correct. Oftewel: de hoogstscorende leerling scoort 5 punten. Omgeschaald is dat 8,33. Hieronder heb ik een afbeelding uit de resultatensectie neergezet, een deel van tabel 2. Wat valt op? De gemiddelde scores op voorkennis zijn allemaal hoger dan 8,33. Dat betekent dat de uitleg in het artikel incompleet is of dat de getoonde getallen onjuist zijn. Mijn vermoeden is dat de omrekenscore op basis van 5 vragen is gedaan (die is dan 2) en niet 6. Zo’n onduidelijkheid maakt wel dat ik ga twijfelen aan de betrouwbaarheid van de overige beschrijvingen.

Image

Fragment uit Tabel 2 in Kapur (2013)

De kennisnatest bestond uit 19 vragen. Die 19 worden verdeeld over drie categorieën (2, 14, en 3 items groot), en elk van die drie wordt weer omgeschaald naar maximaal 10. Van mij had al dit gegoochel niet gehoeven. Het is zo net alsof de subschalen gelijkwaardig zijn wat dus duidelijk totaal niet het geval is. In de resultatensectie wordt serieuze statistiek bedreven en van alles geconcludeerd over ‘procedural fluency’, dat in werkelijkheid met twee items gemeten is. Hier wordt een statistisch rookgordijn opgetrokken.

Wat kwam er uit het experiment? Dat zijn uiteindelijk drie dingen:

  1. PF scoort op de natest hoger dan VF op twee van de drie categorieën (namelijk ‘conceptual understanding’ en ‘transfer’).
  2. PF scoort hoger op de (tussendoor afgenomen) vragenlijst ‘mentale inspanning’ dan VF. Maar: de mate van mentale inspanning zelf had geen voorspellende waarde op de kennistests.
  3. Het aantal door leerlingen gegenereerde of bekeken RSMs in fase 1 was een positieve voorspeller van het leereffect (in beide condities).

Kapur concludeert dat het zelf genereren van RSMs effectiever is in het activeren van voorkennis van de leerling dan het evalueren van andermans RSMs. Daarbij waagt hij zich aan een aantal uitspraken over cognitieve belasting, iets waarvan ik zelf het gevoel had dat hij niet goed weet wat dat concept inhoudt.  Kapur ziet het als één ding, terwijl ‘cognitive load theory’ het concept in drieën hakt. Als hij daarmee rekening gehouden had was een uitspraak als “Perhaps a higher cognitive load may not be monotonically detrimental to learning” overbodig geweest. Kapur haalt zelfs even Vygotsky aan als hij het over ‘optimal cognitive load‘ in de zone van naaste ontwikkeling heeft.

Tegen het eind van Kapur’s artikel komt een lelijke aap uit de mouw: het feit dat leerlingen in beide condities in duo’s en trio’s samenwerkten heeft misschien behoorlijk invloed op de resultaten gehad. Samen problemen oplossen werkt misschien wel heel anders dan samen problemen analyseren. Onderzoek van F. Kirschner, Paas, en P. Kirschner ondersteunt die hypothese.

Ietwat nuancerend kun je concluderen dat leren van fouten, of je die nu zelf maakt of dat anderen die gemaakt hebben, leerzaam kan zijn, maar dat het geen noodzakelijke voorwaarde voor leren is. Kapur’s eindconclusie, dat “it must be relatively harder to learn from the mistakes of others than from one’s own mistakes” deel ik in het licht van alle methodologische haken en ogen echter niet.

Verwijzingen

Kapur, M. (2013). Comparing learning from productive failure and vicarious failure. The Journal of the Learning Sciences, 00, 1–27. doi:10.1080/10508406.2013.819000

Kapur, M., & Bielaczyc, K. (2012). Designing for Productive Failure. The Journal of the Learning Sciences, 21(1), 45-83, doi:10.1080/10508406.2011.591717

Kirschner, F., Paas, F., & Kirschner, P. A. (2009). Individual and group-based learning from complex cognitive tasks: Effects on retention and transfer efficiency. Computers in Human Behavior, 25(2): 306–314.

Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work. Educational Psychologist, 41(2): 75–86.

About Casper Hulshof

Casper Hulshof is docent bij de afdeling Onderwijskunde aan de Universiteit Utrecht. Hij is geïnteresseerd in alles wat met onderwijs, psychologie, en wetenschap in het algemeen te maken heeft en bekijkt de zaken het liefst met een nuchtere, kritische, maar altijd oprechte blik.

7 Reacties to “Van je eigen fouten leer je het meest?”

  1. Dank voor je bespreking. Het geheel komt op mij over als een goedkope poging van Manu Kapur om een publicatie te scoren. De power van dit onderzoekje lijkt me uiterst gering (idioot korte testjes; weinig ppn, slordige conditie van leerlingen die in groepjes werken).

    Het leren van eigen fouten is wel een belangrijk onderdeel van de leerpsychologie. Stellan Ohlsson is een van de onderzoekers die hier actief mee bezig is, zie zijn 2011 ‘Deep Learning’. http://portal.psch.uic.edu/stellan.aspx
    ‘Learning from error’: als een poging een ander resultaat oplevert dan verwacht, kan de informatie daaruit worden benut om een betere poging (= regel) te bedenken. Dit is een nog niet goed onderzocht gebied; Stellan Ohlsson biedt een theorie aan, in zijn hoofdstuk 7.

    Like

    • Dank voor je reactie. Kapur baseert zich in zekere zin op onderzoek naar ‘desirable difficulties’: manieren om het de leerling lastiger te maken om iets te leren met als doel (paradoxaal) een beter leereffect te verkrijgen. In zekere zin sluit dat dan weer aan bij wat Jeroen van Merriënboer de ‘transfer paradox’ noemt: als onderwijsontwerper moet je niet proberen om de leerling te helpen informatie zo efficiënt mogelijk te verwerken (want dan is het leren ook minimaal), nee: je moet het de leerling juist moeilijk maken. Van denken wordt je slim, als het ware, of zoals Kirschner en van Merriënboer het in hun Ten Steps-boek formuleren: “No pain, no gain.”

      Like

      • Daar valt wel meer over te zeggen. Een beroerde leraar maakt het leerlingen moeilijk, sommige leerlingen hebben daar juist baat bij, maar de meeste leerlingen waarschijnlijk niet. Het hangt ook van de aard van de stof en de fase in het leerproces af: het laten inslijpen van basisvaardigheden is iets anders dan lastige begrippen aan de hand van voorbeelden behandelen.
        De sleutel is waarschijnlijk de aandacht (niet de pijn) van de leerling: zonder aandacht weinig of geen leren. De goede leraar weet die aandacht te krijgen, bij voorkeur in klassikale situaties en interacties, waar plaatsvervangend leren (vicarious learning) cruciaal is (aarom zie ik de VF-conditie van Kapur niet echt als een vorm van plaatsvervangend leren).
        De tien stappen van K & M moet ik nog nalopen en passen bij de huidige opvattingen in kringen van het ‘realistisch rekenen’. Ik verheug me erop.

        Like

  2. Dit is op X, Y of Einstein? herblogden reageerde:

    Lees zeker tot het einde waar een lelijke aap uit de mouw komt in deze blogpost van Casper!

    Like

  3. Mooie blog Casper. Kapur schrijft al een tijdje over PF (bv Cognition and Instruction, 2008, hij lijkt het aardig uit te melken) en ik moet zeggen dat ik zijn laatste stap hier, een vergelijk met VF, minder overtuigend vind dan dit stuk. Over het zelf genereren van oplossingen is recent ook door Rittle-Johnson et al gepubliceerd. Ik snap niet waarom hij zich richt op fouten die men zelf maakt of anderen; het ging voorheen meer over de aard van de activiteiten: nodigen die uit tot ‘falen’ of niet. Dat lag meer in de lijn van leren moeilijk maken. De moeilijkheid (pun intended) is dat ‘moeilijk’ van de context (en weer pun intended ;-)) afhangt. Er zijn imo best manieren om dit als ontwerper of docent ‘op te roepen’. Ohlsson in hst 7 heeft het over Piggyback hypothesis en koppelt unassisted learning aan instructie door te zeggen dat een ‘deliberately designed sequence of experiences can abet a cognitive mechanism that did not evolve to learn from instruction. Ik vind dat wel een beetje ‘inlegkunde’ in de zin dat het lijkt alsof hij zegt dat unassisted learning wel kan maar dat je dat een handje kunt helpen door als docent of ontwerper slim te werk te gaan😀. Maar goed, dat is net als bij scaffolding natuurlijk. Het hoofdstuk eindigt trouwens wel behoorlijk megalomaan: “Eventually the production of effective tutoring systems will become routine. Educators will develop systems for every conceivable topic and make them available electronically, thereby providing individualized instruction for every person on the planet at virtually no cost, over and above initial development costs.”. Zou hij het over de Cognitive Tutor van Carnegie Learning hebben?😛

    Overigens weet ik niet, gezien het ‘alles wat niet in de andere twee past is germane load’ karakter van CLT of je nou echt wat kunt met CLT in dit verband. De quote “Perhaps a higher cognitive load may not be monotonically detrimental to learning” bijvoorbeeld. Ik heb juist het gevoel dat de introductie van germane load een poging was om juist ‘een te hoge load’ te verklaren. Ja, dat had hij kunnen zeggen, maar of we daar echt wat mee opschieten, zo’n verzamelcategorie… Maar da’s weer een heel andere discussie.

    Like

  4. Dit is op Leren.Hoe?Zo! herblogden reageerde:
    Een kritische reflectie van Casper Hulshof, co-auteur van ‘Jongens zijn slimmer dan meisjes’, over een recente studie die focust op ‘leren uit fouten’.

    Like

Trackbacks/Pingbacks

  1. opdrachten week 4 | Pien & More - 28 januari 2016

    […] Hulshof, C. (2014). Van je eigen fouten kun je het best leren?. 28-01-2016, van https://onderzoekonderwijs.net/2014/02/27/van-je-eigen-fouten-leer-je-het-meest/ […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: