13 oktober 2021 
Wellicht kunnen learning-myth-busters en evidence-based-boosters mij verder helpen.
Wat ik nooit goed begrepen heb van de effect sizes lijst van Hattie is dat zaak-kennis van de leraar (“teacher subject matter knowledge”) onbelangrijk is met het oog op leerling-prestaties (0.11). Zie de lijst onder. Vakinhoudelijke kennis van de leraar is enkel een fractie werkzamer dan achtergrondmuziek (0,10)! Nou ja, werkzamer … Minder onwerkzaam. Want net niet averechts werkend, zoals de zomervakantie (- 0,02). Beduidend veel minder werkzaam dan tientallen andere dingen (0.50 tot ruim 1,50) zoals leraar-leerling-relatie, samenwerkend leren en de jigsaw methode.
Hattie beoordeelde het inzetten op zaakkennis van de leraar bij onderwijsverbetering uitdrukkelijk als een “disaster” (zie presentaties, bijv. youTube.
Ik geloof het gewoon niet. Dat moet te maken hebben met de aard van zijn onderzoek, van zijn synthese van meta-analyses en/of met die meta-analyses zelf. Ik kan me van alles voorstellen hierbij, bij wat eraan kan mankeren, maar het is mijn vak niet. Dus ik verwijs liever naar kritiek van onderzoeksdeskundigen (zie o.a. Subject Matter KnowledgeDeze site, met een verzameling kritieken op Visible Learning, heeft als motto: The cost of bad data is the illusion of knowledge – Stephen Hawking). René Kneyber schreef een helder kritisch blog hierover:
Waarom Visible Learning van John Hattie pseudowetenschap is.
Misschien biedt de Hattie-lijst een verklaring voor de wonderlijke eenzijdigheid in veel pleidooien voor academische professionalisering van leraren. Daarin wordt de toegankelijkheid van wetenschappelijke literatuur voor leraren cruciaal gevonden, maar gaat het voornamelijk over de toegankelijkheid van onderwijswetenschappelijke literatuur, nooit over de toegankelijkheid van wetenschap “achter” de inhoudelijke vakgebieden. Als subject matter knowledge er weinig toedoet, is dit logisch.
Wat me — tenslotte — opvalt: Veel evidence-based-pleitbezorgers zijn het met me eens dat inhoudelijke kennis van leraren cruciaal is in onderwijs. Hoe verklaren zij Hattie’s cijfer of claim?
Lijst van Hattie:
Blogcollectief Onderzoek Onderwijs 
Inderdaad, Piet.Er wordt steeds geroepen dat leraren moeten lesgeven volgens evidence-based of -informed methoden, maar de vraag wat ze dan moeten onderwijzen, of waartoe wordt gemakshalve overgeslagen. Overigens wijs ik nog maar even op de post Wat werkt echt in de klas?, die dat evidence-based enigszins relativeert. Zoveel evidence blijkt er niet te zijn over wat echt werkt in de klas.
LikeLike
Goed verhaal. En: Hattie = gek. Waarom? Omdat hij de verwaarlozing van kennis aanmoedigt waarmee het onderwijzers vak bezig is zichzelf op dit moment te ruïneren. Ziet Hattie, net als de ‘onderwijsvernieuwing’ die als een vloedgolf over het pedagogenlandschap vloeit, in de intrinsieke motivatie ook de heilsboodschap van de toekomst? Laat ik hem dan uit die droom helpen: de zogenaamde intrinsieke motivatie is niet meer dan het lijdzaam afwachten tot het kind uit zichzelf van buitenaf gemotiveerd wordt. Wel te verstaan: door kennis van zaken te hebben (transfer) waar het al eerder mee te maken heeft gehad. Of dat het voorgespiegeld krijgt door media en ouders. Het onderwijs dat zodoende egomannetjes, -vrouwtjes en -lhbtitjes kweekt. Daar hebben we er langzamerhand wel genoeg van dacht ik!
LikeLike
Op de (on)zin van die effectgroottes kwam al veel commentaar.
Wat m.i. echter een grote rol speelt in dit specifieke geval: de meeste studies meten effecten op zeer korte termijn. Kleine effecten die cumulatief werken (en op het einde van de rit een groot cumulatief effect opleveren), vallen daardoor uit de boot.
Als je morgen een systeem vindt om maaltafels veel sneller aan te leren, dan zul je een grote effectgrootte bekomen. Als je een systeem vindt om leerlingen een klein beetje beter te laten Begrijpend Lezen (=”lezen om te leren”), heb je een klein effectje dat na vele jaren een enorm verschil zou kunnen opleveren… Ik heb een donkerbruin vermoeden dat “Subject Matter Knowkledge” kleine kortetermijneffecten oplevert.
Zie ook https://www.tandfonline.com/doi/abs/10.1080/19345747.2014.925310
En http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1081.2910&rep=rep1&type=pdf voor gelijkaardige vaststellingen bij baseball…
Ook https://www.researchgate.net/profile/Robert-Bjork-2/publication/275355435_Learning_Versus_Performance_An_Integrative_Review/links/553e61880cf210c0bdaa538e/Learning-Versus-Performance-An-Integrative-Review.pdf biedt mooie inzichten in de grote verschillen tussen korte- en langetermijneffecten.
LikeLike
Inzichtelijk en klinkt plausibel.
LikeLike
Het is in feite eenvoudiger: er is geen lineair verband tussen kennis en meer leren. Dit wil dus niet zeggen dat een leraar geen vakkennis nodig heeft, zeker niet. Maar het wil wel zeggen dat enkel meer weten ook automatisch tot meer leren bij je leerlingen leidt.
Hattie heeft er zelf ook uitgebreid over geschreven en wees op het verschil tussen experts (veel weten) en expert teachers (weten, maar ook in staat zijn dit te vertalen naar het niveau waar de leerling zich op bevindt).
In het hele werk van Hattie staat net voorop hoe belangrijk (voor)kennis voor leren is, dus het is zeker geen voorbeeld van relativisme.
LikeLike
Dank voor to-the-point en heldere reactie en uitleg. Overtuigend. Zelf vroeg ik me af of de verklaring niet in twee andere richtingen gezocht kunnen worden:
(1) Verschillen tussen leraren qua leerstofkennis zó klein dat effect ervan in onderzoek niet terug te vinden is.
(2) Verhoudingsgewijs weinig onderzoek naar effect van specifiek leerstofkennis van leraar, waardoor effect in meta-analyses en syntheses als het ware wegvalt.
Naast de verklaring die Luc Kumps (zie elders in comments hier) blijf ik vooral de eerste ook nog wel een optie vinden.
Blog en discussie dienen als voer voor inleiding in wetenschapsfilosofie, vooral bij thema: kenmerken van argumentaties in gepolemiseerde discussie en communicatie over praktijk-relevante wetenschap. Dank voor je bijdrage 😉
[In dit verband nog even:
Had jij wellicht ergens ooit commentaar geschreven op kritiek op Hattie?]
LikeLike
Dit is de verklaring die Hattie oa zelf gaf, daarom dat ik ze deelde. Ook wat we weten over ‘The curse of knowledge’ onderbouwt dit verder. In ons tweede mytheboek staat een heel stuk over Evidence-Based Education die we ook bewust als mythe ontleden (met oa kritiek op Hattie). Legde de man zelf ook de kritiek voor (check https://pedrodebruyckere.blog/2015/11/04/een-gesprek-met-john-hattie-over-onderwijs/ )
LikeLike
Dan blijft de vraag over wat ik als leraar aan al deze megastudies heb. Voorzover ze geen open deuren intrappen die iedere leraar die een paar jaar voor de klas staat, zelf kan bedenken—feedback werkt—suggereren ze kleine of geen effecten terwijl die in de praktijk wel effectief blijken—kleiner klassen, of dit voorbeeld: leerstofkennis van leraren—of blijken methodologisch te rammelen.
In mijn ogen richten zulke studies meer schade aan dan dat ze bijdragen aan goed onderwijs. Met zijn stellige uitspraken, zonder de noodzakelijke wetenschappelijke twijfel, laat Hattie goede leraren twijfelen aan hun eigen expertise. Of erger.
Er zijn scholen waar de schoolleiding of het bestuur leraren dwingt te werken volgens Hatties wetenschappelijk ‘bewezen’ richtlijnen, ten koste van andere werkwijzen waar in het verleden goede resultaten mee werden behaald.
Ik ben ervoor het onderzoek te richten op wat werkelijk gebeurt in de klas, bijvoorbeeld onderzoek dat ik noemde in de post Wat werkt echt in de klas?. Of onderzoek dat vertrekt vanuit de vraag waarom iets werkt, waarom iets de ene keer wel werkt en een andere keer niet, of bij de ene leraar wel en de andere niet. Of vanuit de vraag welke interacties plaatsvinden in een klas—leraar-leerling, leerlingen onderling—en hoe die bijdragen aan de gewenste doelen.
LikeLike
Ik vrees dat je nu Hattie veel in de schoenen schuift waar hij zelf niet zozeer voor verantwoordelijk is. Veel mensen kijken naar het cijfer, maar lezen de pagina’s duiding bij elk cijfer niet. En bijvoorbeeld het inzicht dat meer weten niet noodzakelijk beter doet lesgeven staat haaks soms op de wensen voor bijscholing. Ik beaam dat we meer science of teaching nodig hebben, zie ook https://theeconomyofmeaning.com/2021/06/25/new-article-teaching-is-a-necessary-and-as-yet-unfulfilled-goal-of-psychological-science/, maar met de redenering die hier gemaakt wordt kan je ook de hele filosofische pedagogiek wegzetten, wat niet de bedoeling kan zijn :).
LikeLike
Haha. Nee, die willen we niet kwijt. Mijn ergernis gaat niet zozeer over Hattie, al zou ik hem graag wat bescheidener zien. Het gaat vooral over mensen die kritiekloos dit soort onderzoek als een bijbel beschouwen, of een catechismus, die ons regels oplegt hoe te handelen. Er zou in het onderwijs wat meer zelf gedacht moeten worden en minder slaafs nagevolgd. Vandaar mijn boek De Denkende Klas.
LikeLike