Waarom Visible Learning van John Hattie pseudowetenschap is – herblogd

Dit stuk verscheen eerder op de blog van René Kneyber. Zijn punt is dat je de ranglijst van Hattie niet als onderbouwing kunt inzetten.

Het boek Visible Learning van John Hattie verscheen in 2008, en is in Nederland verschenen als Leren zichtbaar maken. In dit boek vergelijkt hij  onderzoek naar interventies in het onderwijs om zo te komen tot een ranglijst te komen van wat werkt en wat niet werkt. Anno 2020 is zijn aanpak zeer omstreden, en daarmee dus ook de harde conclusies die hij trekt. Dit besef lijkt in het Nederlands onderwijs nog niet voldoende ingedaald. Regelmatig kom ik op scholen waar Hattie nog als zoete koek geslikt wordt.

In deze blog som ik de grootste bezwaren op, en reflecteer ik op wat we wel en niet kunnen met dit boek.

Introductie

Eind 2010 deed ik mee aan debat over prestatiebeloning en dat was om meerdere redenen gedenkwaardig. Zo stond ik na afloop zes uur lang in een sneeuwstormfile, ik ontmoette Thijs Jansen van de stichting Beroepseer wat de eerste stap was richting het boek Het Alternatief, en tijdens het debat begon Jan Tishauser (die ik toen nog niet kende) over het boek Visible Learning: een ranglijst van wat werkt in het onderwijs, en wat nauwelijks of tegengesteld werkt. Ik raakte nieuwsgierig, mailde hem nog eens over de titel, bestelde het, las het en ik was meteen verkocht.

Ik was al heel lang op zoek naar een goed overzicht van wat we kunnen leren uit onderwijsonderzoek en dit boek leek precies dat te bieden. Voor de zekerheid googelde ik wél op kritiek op het boek (het was tenslotte al twee jaar uit), maar ik kon niet veel serieuze kritiek vinden. Zo’n populair boek – ook wel de ‘heilige graal van het onderwijs’ genoemd –… als er iets mis mee was dan zou de eerste serieuze criticaster zich wel gemeld hebben, toch?

Synthese van meta-analyses

Voor de zekerheid zal ik kort uitleggen wat John Hattie en collega’s precies hebben gedaan, mocht je het gemist hebben.

Stel je bent onderzoeker en je doet onderzoek naar bijv. klassengrootte. Je doet kwantitatief onderzoek naar de resultaten van een grote groep in de les (32 leerlingen) en een kleinere groep (24 leerlingen). Hoewel de ene groep het misschien gemiddeld beter zal doen qua leerprestaties dan de andere valt er aan de resultaten nog niet zoveel op te hangen. Om te zien of deze verbetering of verslechtering statisch significant is moet er een zogenoemde ‘effect-grootte’ berekend worden. Hoe groter de effect-grootte hoe meer ‘impact’ de interventie had.

Deze resultaten publiceer je. Maar aan de bevindingen valt nog niet zoveel op te hangen. Eén onderzoek is geen onderzoek, zegt men wel eens. Er kan sprake zijn van bijv. bias of een toevalstreffer. Het is daarom altijd goed om meer onderzoeken naar iets te doen, of het onderzoek door een andere onderzoeker te laten herhalen.

Als je echt wilt weten wat in grote lijnen de effecten zijn van een klassenverkleining is een meta-analyse nodig. Je pakt al het onderzoek naar klassenverkleining bij elkaar en je gaat vergelijken. Zo’n meta-analyse kun je ook doen naar de effecten van samenwerkend leren, directe instructie, zittenblijven etc.

In Visible Learning doet John Hattie een van de eerste grote pogingen om al deze meta-analyses met elkaar te vergelijken aan de hand van de effect-groottes. Het is dus in feite een meta-meta-analyse: al is het beter om te spreken van een synthese van meta-analyses.

De bevindingen van Hattie

Deze synthese leidt tot een aantal bevindingen en conclusies, die ik hieronder kort zal opsommen.

a) Een effectiviteitsranglijst

Figuur 1 Voorbeeld van korte ranglijst met effectgroottes afkomstig van www.visible-learning.org.

Door de ‘effect-grootte’ als universele indicator in te zetten beweert Hattie in staat te zijn om interventies met elkaar te vergelijken. Bovenstaand diagram toont tien interventies en hoe ze zich tot elkaar verhouden. ‘Feedback’ scoort met een gemiddelde effect-grootte van 0,73 hoog en ‘het wisselen van school’ scoort negatief met -0,34. De hele ranglijst is te groot om hier zinvol weer te geven, maar kijk gerust eens hier.

b) Alles werkt wel, ‘soort van’

Een opvallende conclusie van Hattie is dat elke interventie wel soort van werkt. Er zijn maar een paar interventies op de lijst zoals zittenblijven en wisselen van school die een negatieve impact hebben. Het overgrote deel van mogelijke interventies heeft een positieve bijdrage. Ja, zelfs als leerlingen geen of een slechte leraar voor de klas hebben gaan ze nog wel een beetje vooruit; al is een goede leraar natuurlijk altijd beter.

c) Omslagpunt voor voldoende positief effect

Als alles wel soort van werkt dan zullen we moeten kijken naar wat het allerbeste werkt, zegt Hattie. Het gemiddelde van alle effectgroottes is namelijk 0,4. Wat hij the hinge point, oftewel het omslagpunt noemt. Eigenlijk, stelt hij, zouden we ons niet moeten bekommeren om zaken die minder effectief zijn dan gemiddeld. Zonde van de tijd en energie.

Om dit inzichtelijk te maken werkt hij met zogenaamde barometers waarin pijltjes aangeven waar de interventie precies valt.

Anno 2011 nog weinig kritiek

Zoals gezegd, toen ik me in het werk verdiepte in 2011 was er weinig kritiek te vinden. Zover ik me kan herinneren, trof ik op mijn rondje over internet het volgende (al kan ik niet alles meer terugvinden).

a) Constructivisten waren tegen

Aanhangers van constructivistisch onderwijs kregen in het boek de wind van voren. Hattie vindt in zijn synthese veel aanwijzingen dat een leraar die directe instructie toepast het meest effectief is. De interventies die een ‘coach ‘doet in een constructieve setting zijn allemaal minder effectief. Om dit te illustreren maakt hij gebruik van tabelletjes zoals de volgende (hier uit EDI 2.0):

Tegenstanders van Hattie vond je vooral in de sociaal-constructivistische hoek. Zij wezen op tekortkomingen in de methode van Hattie of op de platheid van een tabel zoals bovenstaande. Een leraar als coach zal tenslotte ook feedback geven. 

b) Betekenis voor beleid onduidelijk

Een van de opmerkelijke uitkomsten van de synthese is dat klassengrootte er niet toe doet. Aangezien klassenverkleiningen kostbaar zijn, en klassenvergrotingen veel opleveren was dit voer voor beleidsmakers over de hele wereld om klassen in ieder geval niet kleiner te maken (want duur, en geen effect). In 2011 was er daarom discussie of je de uitkomsten wel op deze manier mocht interpreteren en gebruiken om beleid op te baseren.

Anno 2020 meer kritiek

De afgelopen jaren groeit de kritiek op het werk van Hattie. Hattie bagataliseert veel van de kritiek. Hij onderneemt wel eens pogingen om kritiek te weerleggen, maar die zijn vaak niet overtuigend.

George Liley houdt een website bij met alle kritiek die inmiddels gepubliceerd is. En dat is nogal wat: (http://visablelearning.blogspot.com) ik zal die hier niet allemaal herhalen, maar het is zeker de moeite waard om alles eens te bekijken. De belangrijkste punten in de kritiek zal ik hier bespreken.

a) Leerlingen zijn niet gemiddeld, dus wat heb je hieraan…

De grote paradox is volgens Larson (2014) dat in de synthese van meta-analyse met 240 miljoen datapunten de leerlingen ondergesneeuwd raken en verdwijnen. Leerlingen zijn niet gemiddeld. Zoals Dylan Wiliam vaak zegt: Alles werkt wel ergens, maar niets werkt overal. Wie onderzoek wil gebruiken om de praktijk te verbeteren moet zich afvragen ‘wat werkt, voor wie, waarom, hoe en onder welke condities’. In de grote-gemiddelden-show van Visible Learning is de informatie die je als leraar nodig hebt en wilt hebben, juist verdwenen.

b) Effectgroottes kun je zo niet gebruiken. Statistische warboel

In 2017 publiceerde Bergeron een artikel met de veelzeggende titel  “How to engage in pseudoscience with real data: A criticism of John Hattie’s arguments in Visible Learning from the perspective of a statistician” met stevige statistische kritiek op Visible Learning. Zijn conclusies zijn niet mals:

“Wie door de bril van een expert naar het boek Visible Learning kijkt ziet niet een machtig kasteel maar een fragiel kaartenhuis dat snel uit elkaar zal vallen….

Wie Hattie gelooft heeft een blinde vlek in zijn kritische vermogen om iets op wetenschappelijkheid te beoordelen. Zijn werk promoten is als de promotie van pseudowetenschap. Tot slot, wie Hattie zelfs in het licht van deze serieuze kritiek blijft verdedigen houdt zich bewust blind.”

c) De wiskunde klopt niet

Een van de meest opvallende fouten van Visible Learning is dat de wiskunde simpelweg niet klopt. John Hattie maakt gebruik van twee statistische concepten effectgrootte en CLE. Deze CLE is een kans. Kansen zijn  – weet je misschien nog van de middelbare school – minimaal 0% en maximaal 100% maar bij John Hattie bestaan er plots ook kansen van -49% en 219%! Is het magie? Nee, na enig aandringen gaf Hattie ruiterlijk de fout toe (maar heeft het nooit aangepast).

d) Omslagpunt van 0,4 is twijfelachtig

Om adequaat met effectgroottes te kunnen werken zijn allerlei correcties nodig. Ten eerste voor leeftijd van de deelnemers omdat de effectgroottes van interventies bij jonge kinderen groter zijn . Diverse onderzoekers wijzen erop dat door dit soort correcties toe te passen de gemiddelde effectgrootte veel lager wordt, wellicht zelfs maar 0,2.

e) Eenzijdige focus op kwalificatie

Onze eigen Gert Biesta is een van de veteranen onder de Hattie-criticasters. Zijn kritiek is wel andersoortig van toon. Of de statistische methode nu goed is of niet, dat doet er volgens Biesta niet eens toe. Het werk van Hattie richt zich tenslotte slechts op het meetbare van kwalificatie. Iets kan wel ‘effectief’ zijn, maar dat betekent nog niet dat het ook goed onderwijs is, aangezien we dan ook andere domeinen in ogenschouw moeten nemen. Kortgezegd: Een interventie kan effectief zijn, maar dat maakt haar nog niet wenselijk.

Uit goede bron vernam ik dat dat Hattie op deze kritiek reageerde met de woorden: ‘[dat] Mevrouw (sic) Biesta wel een punt heeft, maar dat onderwijs desondanks toch alleen maar gaat over kwalificatie.’

Mijn punt is dat je de ranglijst van Hattie niet als onderbouwing kunt inzetten.

Wat kunnen we er nog mee?

Ik ben een fan van veel van de conclusies van Hattie. De afgelopen jaren is het gemakkelijk geweest om mijn gelijk te krijgen door te zeggen: ‘Uit het onderzoek van John Hattie blijkt…’ Mijn leven zou ongetwijfeld makkelijker zijn door dit allemaal halsstarrig vol te houden,maar inmiddels ben ik al een tijdje zover dat ik het Visible Learning-werk van Hattie gewoonweg niet meer serieus kan nemen. Wie serieus beoogt dat onderzoek een belangrijke bron vormt voor het handelen in de klas kan dat huis niet bouwen op het drassige moeras dat Visible Learning heet. Mijn adviezen zijn daarom ook de volgende:

a) Hattie niet meer gebruiken als bron

Er is zoveel mis met Visible learning dat je het niet meer als bron zou moeten inzetten. De verwijzing Hattie (2008) of Hattie (2009) kun je dus beter niet meer gebruiken.

b) Probeer je conclusies anders te onderbouwen

Misschien vind je de conclusies van Hattie heel fijn. Dat vind ik ook. Ik ben geen sociaal-constructivist en ik ben blij dat formatief handelen hoog staat in de Visible Learning ranglijst. Maar als ik het punt wil maken dat formatief handelen belangrijk, effectief, goed en wenselijk is, dan zal ik dat punt op een andere manier moeten maken. 

c) Per definitie dus ongeschikt voor beleidsbeslissingen

Misschien overcompleet, maar de conclusies van John Hattie zijn ongeschikt om beleid op te baseren. Goed beleid kijkt naar deugdelijk onderzoek — en daar is hier uiteraard geen sprake van — maar moet rekening houden met de context waarbinnen onderwijs zich bevindt en praktische kennis.

d) Ander werk van Hattie mogelijk nog wel interessant

Dat we Visible Learning niet meer kunnen gebruiken betekent niet dat we het andere werk van John Hattie niet meer kunnen gebruiken. Zijn onderzoek naar expertise onder leraren staat nog steeds, en zijn werk naar feedback is ook nog steeds onomstreden.

Al wil ik niet uitsluiten dat dit over twee jaar anders kan zijn.

e) De interventies die Visible Learning aanprijst zijn nog steeds zinnig

Veel scholen zijn aan de slag gegaan met de interventies die volgens Hattie krachtig zijn: leerdoelen, formatief handelen, feedback, directe instructie, noem het maar op. Dit artikel is geen verwerping van deze strategieën. Op andere manieren valt even goed te onderbouwen dat dit nuttig is (voor wat je er mee wilt bereiken). Mijn punt is dat je de ranglijst van Hattie niet als onderbouwing kunt inzetten.