Dick van der Wateren en Flip Schrameijer

Onderwijsonderzoekers komen vaak met heldere aanwijzingen over wat wel of niet werkt in het onderwijs. Ook ons blogcollectief publiceert geregeld over methoden waarvan de wetenschap heeft bewezen dat ze effectief zijn en ook over broodje-aapverhalen en onderwijsmythen. Vaak speelt daarbij het meta-meta-onderzoek van de Nieuw-Zeelandse hoogleraar John Hattie een belangrijke rol. Dat is de neerslag van 800 meta-analyses waaraan meer dan 50.000 publicaties ten grondslag liggen die opgeteld gegevens over meer dan 240 miljoen leerlingen wereldwijd bestrijken. Hattie’s lijst bevat 138 factoren die de prestaties van leerlingen beïnvloeden. Bij de eerste tien zitten geheide succesnummers als: leraar-leerling-relaties, feedback (wederzijds), studievaardigheden toepassen, moeilijke doelen stellen, uitdagen enz.

Meta-analyses zijn erg waardevol en de statistiek is elegant en wekt vertrouwen. Niettemin bekruipt ons enige twijfel wanneer we factoren op een lage plaats tegenkomen, waarvan we intuïtief (of door ervaring in de praktijk) aannemen dat die wel degelijk van grote invloed zijn. Misschien niet in de mate van de toptienfactoren, maar toch. Zo staat leraaropleiding op plaats 124 in Hatties lijst, vakkennis van de leraar op 125, klassengrootte op plaats 106 en huiswerk op plaats 88. Alle vier deze factoren hebben volgens Hatties berekeningen een miniem positief effect op de leerprestaties. Daarmee is Hatties werk een goed uitgangspunt voor vragen als: wat heeft de man of de vrouw voor de klas aan onderwijsonderzoek en wat zijn onderzoeksmethoden waar de lespraktijk het meest aan heeft?

Die vragen zijn vooral opportuun omdat onderzoeksresultaten als die van Hattie grote invloed hebben op het beleid. Nog steeds leven we in de ongelukkige omstandigheid dat politici en beleidmakers eerder luisteren naar wetenschappers dan naar de mensen die het onderwijs uitvoeren, ook al roepen die nog zo hard dat een bepaalde maatregel in de praktijk niet werkt. De geschiedenis van het vermaledijde studiehuis en de conclusies van het rapport Dijsselbloem illustreren dat onmiskenbaar.

Voor alle duidelijkheid, we willen hier geen kritiek geven op een onderzoek waar Hattie 15 jaar aan heeft gewijd. Het is een heel solide studie die nuttige suggesties kan geven voor de lespraktijk. (N.B. een kritische bespreking van Hatties boek laten we graag over aan Terhart, 2011.) Ons belangrijkste punt is dat dit en veel ander kwantitatief onderwijsonderzoek door de aard van de methodiek de werkelijkheid sterk abstraheert en losmaakt van de context. Om dat met een voorbeeld te illustreren, het kan goed zijn dat huiswerk, vergeleken met veel andere factoren, statistisch bekeken, weinig invloed heeft op de leerprestaties, maar onder specifieke omstandigheden kan huiswerk maken wel degelijk de doorslag geven voor het leersucces van een bepaalde leerling. Een docent is ter plaatse, kent die specifieke omstandigheden en die bepaalde leerling en kan die ‘factoren’ dus beoordelen en afwegen.

Met andere woorden, meta-onderzoeken, maar ook gerandomiseerde onderzoeken met controlegroepen, kunnen aanwijzingen geven voor wat in het algemeen wel of niet werkt in de klas, maar de praktijksituatie is altijd bijzonder en daar moet elke keer weer blijken of het ook daar werkt. De conclusies van die onderzoeken zouden wij dan ook het liefst beschouwen als hypotheses, die in de specifieke context van de praktijk in de klas moeten worden getoetst. Daar willen we in deel 2 van deze serie een aanzet voor geven.

Kritiek op onderwijsonderzoek

Het onderwijsonderzoek waarin effectgrootten centraal staan, is een vorm van kwantitatief sociaalwetenschappelijk onderzoek waar in het algemeen grote vraagtekens bij kunnen worden gezet. Het meest principiële is dat de sociale werkelijkheid zich niet op dezelfde wijze laat kwantificeren als de fysieke werkelijkheid. De kwantitatieve sociaalwetenschappelijke methodologie oriënteert zich op de natuurwetenschappen waarin bijvoorbeeld met wederzijds uitsluitende categorieën wordt gewerkt die de sociale werkelijkheid vaak geen recht doen.

Wittgenstein heeft ooit gezegd dat categorieën in de sociale werkelijkheid vaak meer weg hebben van familiegelijkenissen: Jan heeft het haar van tante Annie, loopt net als grootvader en is net zo ongeduldig als oom Henk. Sociaalwetenschappelijke feiten hebben een ander karakter dan natuurwetenschappelijke omdat ze zelden zonder interpretatie bestaan en die interpretaties wisselen met de context. De referentiegroep theorie is daarvan een prachtige uitwerking: hetzelfde ‘feit’ kan totaal veranderen, al naar gelang het vergelijkingskader waarin het wordt geplaatst: rijkdom kan zo in armoede verkeren, intelligentie in domheid. En denk ook aan het theorema van W.I. Thomas: ‘If people define situations as real, they’re real in their consequences’.
De echo van dergelijke overwegingen zijn duidelijk hoorbaar in de woorden van Tom Bennett in ‘Teacher Proof’ (2013):

Human behaviour isn’t amenable to the same kind of reductions and processes that we can use in, say, chemistry, where concepts such as the bonds between atoms are fairly well understood and relatively easy to break down and analyse in isolation.

But humans don’t work like hydrogen bonds. There are so many factors that appear to govern our behaviour that to reduce them to one o[r] two variables is to lose sight of the complexity of the picture. […]

Even if you claim (and this itself is contestable) that human behaviour could theoretically be predictable, that is very different from saying that it can in every instance be predicted. (p. 46 en 47.)

En verderop:

My opinion is this: there are few things that educational science has brought to the classroom that could not already have been discerned by a competent teacher intent on teaching well after a few years of pracice. (p. 57.)

Op verschillende plaatsen in zijn boek maakt Hattie zichzelf los van de abstractie van zijn statistische meta-analyses en benadrukt hij het belang van de context van het leslokaal. Waar hij over zijn leertheorie schrijft, zegt hij:

‘What is most important is that teaching is visible to the student, and that the learning is visible to the teacher. The more the student becomes the teacher and the more the teacher becomes the learner, then the more successful are the outcomes’ (p. 25).

en:

‘The model of visible teaching and learning combines, rather than contrasts, teacher-centred teaching and student-centred learning and knowing’ (p. 26).

Met andere woorden, de leerling moet ‘gezien’ zijn, de docent moet zorg en aandacht geven. De leraar moet het perspectief van de leerling kunnen innemen en de leerling moet zichzelf als zijn eigen leraar kunnen zien. Ook in eerdere publikaties gaf Hattie er blijk van dat de relatie leraar-leerling centraal staat in het succes of falen van onderwijs (bijv. Anderson e.a. 2005).

Volgens Terhart (2011) volgt Hattie in zijn leertheorie Karl Popper. En hier stuiten we op een ander probleem met onderwijsonderzoek: de strijd tussen concurrerende theorieën. We komen dat ook tegen bij de discussie over ontdekkend leren versus geleide instructie, die op deze blog wordt gevoerd.

Vaak, wanneer je (zoals een van ons) als leraar de onderzoeksliteratuur volgt, komt de gedachte in je op: wat moet ik hier mee? Wanneer cognitivisten weer eens van leer trekken tegen constructivisten of behaviouristen is dat een strijd die ver af staat van de dagelijkse werkelijkheid in klaslokalen. Dat wordt op een (onbedoeld) grappige manier geïllustreerd door een schema waarin de vier belangrijkste leertheorieën met elkaar worden vergeleken. Terwijl we dat doorlezen, realiseren we ons dat we van elk van die theorieën op zijn tijd wel eens iets in onze lessen hebben toegepast. Dus voor welke theorie moeten we nu kiezen? Vervolgens komen we onderaan dat schema een interessante formule tegen:

Behaviourism + Cognitivism + Constructivism = Complete Learning Theory.

Als we het niet dachten! Maar wat is dan het hele idee van een leertheorie nog waard? (Was maar een vraag.)

Een essentieel verschil tussen sociale en natuurwetenschappen is dat in die laatste empirische gegevens en experimenten de theorie kunnen falsificeren. In de sociale wetenschappen is dat maar in heel beperkte mate mogelijk.

Leereffect

Een ander probleem met meta-onderzoeken is de definitie van de verschillende factoren waarvan het effect wordt bepaald. Wat betekent (in tabel 11.1 in Hattie, 2009) precies: ‘Mastery learning’, ‘Inquiry-based teaching’, ‘Problem-based learning’, ‘Inductive teaching’? En wat wordt precies verstaan onder een ‘Average activator’ of een ‘Average facilitator’? De eerste is duidelijk beter dan de tweede (effectgrootte 0.60 tegen 0.17). In tegenstelling tot de natuurwetenschappen zijn begrippen als deze niet eenduidig kwantitatief of kwalitatief te definiëren. En daarmee worden de conclusies van dit soort onderzoeken net iets minder hard. Bovendien geeft dat ruimte aan interpretaties door een theoretische bril, waarmee een vooringenomen standpunt wordt bevestigd. Zo loopt Hattie duidelijk niet warm voor constructivisme en met zijn cijfers toont hij het gebrek aan succes van die stroming aan. Je kunt je afvragen hoe objectief deze resultaten zijn.

Een van Hatties meest robuuste conclusies is dat de leraar de belangrijkste factor is met het grootste effect op de leerprestaties van scholieren. Dat zal weinig mensen in het onderwijs verbazen. Maar wat wordt hier precies bedoeld? Sommigen zien een leraar als iemand die leerlingen op een spoor zet, hen veel autonomie geeft bij het ontdekken van nieuwe kennis. Anderen zien een leraar die centraal staat in de klas, leerlingen duidelijke instructies en opdrachten geeft, die ze vervolgens moeten uitvoeren. Hattie is een sterk voorstander van het laatste en zijn onderzoek laat, weinig verrassend, zien dat die vorm van lesgeven verre superieur is aan de eerste. Maar wanneer de definitie van lesmethoden beïnvloed wordt door de ideologische bril van de onderzoeker, hoe hard zijn dan de conclusies?

Ervaren docenten zullen geneigd zijn onafhankelijk van onderwijskundige ideologieën een keus te maken uit beschikbare lesmethoden. Heel pragmatisch zal een docent de ene keer voor geleide instructie en een andere keer voor ontdekkend leren kiezen. Wat zou helpen is als wetenschappers die keuze op de een of andere manier konden onderbouwen met aandacht voor de specifieke, lokale factoren.

‘Achievement’

Een ander punt is het begrip ‘achievement’ dat in ‘Visible Learning’ 200 keer voorkomt. Nergens wordt dat begrip helder gedefinieerd. Is dat het resultaat bij standaardtests, voor alleen rekenen/wiskunde en taal, of worden ook de resultaten van andere schoolvakken meegenomen? Gaat het om percentages geslaagden voor eindtoetsen voor de basisschool, eindexamens, percentage doorstroming naar voortgezette opleidingen? En kunnen de prestaties van die miljoenen leerlingen wel met elkaar worden vergeleken? Misschien missen we iets en is ‘achievement’ de standaardmeetlat van iedere onderwijsonderzoeker. We laten ons graag bijpraten.

Hatties analyses hebben merendeels betrekking op de hoog-ontwikkelde, Engelssprekende landen. Die vijf à zes landen hebben nogal verschillende onderwijssystemen en verschillen op hun beurt weer van die in andere landen. Zelf zegt Hattie daarover:

We should not generalize the findings of these meta-analyses to non-English speaking, or non-highly developed countries.

Dat maakt de conclusies meteen weer een stuk betrekkelijker. Kun je bovendien leerprestaties van kleuters, leerlingen van het primair, secundair, tertiair en volwassenenonderwijs wel op een hoop gooien? En hoe zit het met de vergelijking van resultaten van kortlopende experimenten onder strict gecontroleerde laboratoriumcondities met die in de rommelige praktijk van een klaslokaal over een langere periode?

Het is interessant dat Hattie in zijn, overigens heel sympathieke, boek ‘Visible Learning for Teachers’ (2012) schrijft:

… one of the more profound findings that has driven me as a father is the claim of Levin, Belfield, Muennig, and Rouse (2006) that the best predictor of health, wealth, and happiness in later life is not school achievement, but the number of years in schooling. Retaining students in learning is a highly desirable outcome of schooling, and because many students make decisions about staying in schooling between the ages of 11 and 15, this means that the school and learning experience at these ages must be productive, challenging, and engaging to ensure the best chance possible that students wil stay in school.

Met andere woorden, waar het in het onderwijs echt om gaat (zou moeten gaan) heeft minder te maken met ‘academic achievement’ dan met zaken als motivatie, uitdaging, creativiteit, zorg en aandacht, allemaal zaken die lastiger te meten zijn dan testuitslagen en examenresultaten, de ‘achievements’ waar Hatties effectonderzoek grotendeels op is gebaseerd.

Na dit alles blijven we zitten met de vraag wat we met ranglijsten als die in ‘Visible Learning’ aan moeten? Als we vaststellen dat:

geeft dit onderzoek ons weinig houvast in de bijzondere context van ons als leraar met een bepaalde opleiding, op een bepaalde school, met bepaalde leerlingen en noem nog maar een paar omstandigheden.

In zijn kritische bespreking van Hatties boek schrijft Terhart (2012):

A future mega-analysis, presented in, let’s say 2020, and possibly including 300 additional meta-analyses, will probably provide little variation in this regard. How long does it make sense to continue this process? If it is continued, further efforts will just lead to an asymptotic approximation of already known results (stability hypothesis).

Wij stellen dan ook de volgende benadering van grootschalig onderwijsonderzoek voor. In plaats van de uitkomsten van dat onderzoek, bijvoorbeeld Hatties lijst van 138 factoren of Marzano’s weer heel ander lijstje van 11 factoren, als leidend te nemen, zien we die als ‘sensitizing concepts’ (Herbert Blumer, 1954, 1969), ofwel in het Nederlands ‘attenderende begrippen’. Die kunnen je helpen om dingen te zien die je anders niet ziet, terwijl je sommige uitkomsten ook naast je neer kunt leggen als voor die context niet relevant.

De praktijk

Als gezegd, de praktijk in het klaslokaal is veel rommeliger dan de laboratoriumonderzoeken en de abstracte wereld van de meta-analyses. Het blijft fascineren dat wat werkt in de ene klas niet werkt in een paralleklas met dezelfde leraar op dezelfde school. Of dat iets wel werkt op dinsdagochtend, maar precies (?) hetzelfde niet op vrijdagmiddag. Hoe vaak ga je als leraar niet naar huis met de vraag waarom iets die dag niet werkte en begin je te twijfelen aan je eigen kwaliteit als leraar. Om dan de volgende dag een toples te hebben, met dezelfde klas, dezelfde leerstof en dezelfde lesaanpak. De kwaliteit van een les hangt van talloze factoren af, waarvan je er maar weinig echt in de hand hebt. Daarvan een of twee aanwijzen, die voorspelbaar en altijd tot betere lessen leiden is hetzij triviaal, hetzij onmogelijk.

In het volgende bericht denken we hardop na over manieren van onderzoek die aan de ene kant recht doen aan de resultaten van grootschalige meta-analyses (als ‘sensitizing concepts’) en anderzijds aan de context van de dagelijkse schoolpraktijk. Esther de Groot heeft op deze blog al een voorzet gegeven, waarbij ze opmerkt:

Goed evaluatief onderzoek van de eigen onderwijspraktijk is ook niet eenvoudig. Wanneer de docent zowel de interventie ontwerpt, toepast als evalueert, dan is bias in de conclusies haast onvermijdelijk. En de eigen omgeving is zó bekend, dan zal het lastig zijn om juist kenmerkende aspecten van die context te benoemen die de resultaten beïnvloed zouden kunnen hebben.

Die uitdaging nemen we aan.

________________________________

Bronnen

Anderson, A., Hattie, J., & Hamilton, R. J. (2005). Locus of control, self-efficacy, and motivation in different schools: Is moderation the key to success? Educational Psychology, 25(5), 517-535. doi: 10.1080/01443410500046754

Tom Bennett, 2013. Teacher Proof: Why research in education doesn’t always mean what it claims, and what you can do about it. London. Routledge, 232 pp.

Herbert Blumer, 1954. “What is Wrong with Social Theory.” American Sociological Review 18: 3-10 (www.brocku.ca/MeadProject/Blumer/Blumer_1954.html)

Herbert Blumer, 1969. Symbolic interactionism, Perspectives and Methods. Englewood Cliffs, N.J., Prentice Hall.

John Hattie, 2009. Visible learning: A synthesis of 800+ meta-analyses of achievement. London. Routledge.

John Hattie, 2012. Visible learning for teachers: Maximizing impact on learning. London. Routledge.

Ewald Terhart, 2011. Has John Hattie really found the holy grail of research on
teaching? An extended review of Visible Learning. Journal of Curriculum Studies, 43:3, 425-438,
DOI: 10.1080/00220272.2011.576774.