Onderzoeken wat werkt in de klas 1

Dick van der Wateren en Flip Schrameijer

Onderwijsonderzoekers komen vaak met heldere aanwijzingen over wat wel of niet werkt in het onderwijs. Ook ons blogcollectief publiceert geregeld over methoden waarvan de wetenschap heeft bewezen dat ze effectief zijn en ook over broodje-aapverhalen en onderwijsmythen. Vaak speelt daarbij het meta-meta-onderzoek van de Nieuw-Zeelandse hoogleraar John Hattie een belangrijke rol. Dat is de neerslag van 800 meta-analyses waaraan meer dan 50.000 publicaties ten grondslag liggen die opgeteld gegevens over meer dan 240 miljoen leerlingen wereldwijd bestrijken. Hattie’s lijst bevat 138 factoren die de prestaties van leerlingen beïnvloeden. Bij de eerste tien zitten geheide succesnummers als: leraar-leerling-relaties, feedback (wederzijds), studievaardigheden toepassen, moeilijke doelen stellen, uitdagen enz.

Meta-analyses zijn erg waardevol en de statistiek is elegant en wekt vertrouwen. Niettemin bekruipt ons enige twijfel wanneer we factoren op een lage plaats tegenkomen, waarvan we intuïtief (of door ervaring in de praktijk) aannemen dat die wel degelijk van grote invloed zijn. Misschien niet in de mate van de toptienfactoren, maar toch. Zo staat leraaropleiding op plaats 124 in Hatties lijst, vakkennis van de leraar op 125, klassengrootte op plaats 106 en huiswerk op plaats 88. Alle vier deze factoren hebben volgens Hatties berekeningen een miniem positief effect op de leerprestaties. Daarmee is Hatties werk een goed uitgangspunt voor vragen als: wat heeft de man of de vrouw voor de klas aan onderwijsonderzoek en wat zijn onderzoeksmethoden waar de lespraktijk het meest aan heeft?

Die vragen zijn vooral opportuun omdat onderzoeksresultaten als die van Hattie grote invloed hebben op het beleid. Nog steeds leven we in de ongelukkige omstandigheid dat politici en beleidmakers eerder luisteren naar wetenschappers dan naar de mensen die het onderwijs uitvoeren, ook al roepen die nog zo hard dat een bepaalde maatregel in de praktijk niet werkt. De geschiedenis van het vermaledijde studiehuis en de conclusies van het rapport Dijsselbloem illustreren dat onmiskenbaar.

Voor alle duidelijkheid, we willen hier geen kritiek geven op een onderzoek waar Hattie 15 jaar aan heeft gewijd. Het is een heel solide studie die nuttige suggesties kan geven voor de lespraktijk. (N.B. een kritische bespreking van Hatties boek laten we graag over aan Terhart, 2011.) Ons belangrijkste punt is dat dit en veel ander kwantitatief onderwijsonderzoek door de aard van de methodiek de werkelijkheid sterk abstraheert en losmaakt van de context. Om dat met een voorbeeld te illustreren, het kan goed zijn dat huiswerk, vergeleken met veel andere factoren, statistisch bekeken, weinig invloed heeft op de leerprestaties, maar onder specifieke omstandigheden kan huiswerk maken wel degelijk de doorslag geven voor het leersucces van een bepaalde leerling. Een docent is ter plaatse, kent die specifieke omstandigheden en die bepaalde leerling en kan die ‘factoren’ dus beoordelen en afwegen.

Met andere woorden, meta-onderzoeken, maar ook gerandomiseerde onderzoeken met controlegroepen, kunnen aanwijzingen geven voor wat in het algemeen wel of niet werkt in de klas, maar de praktijksituatie is altijd bijzonder en daar moet elke keer weer blijken of het ook daar werkt. De conclusies van die onderzoeken zouden wij dan ook het liefst beschouwen als hypotheses, die in de specifieke context van de praktijk in de klas moeten worden getoetst. Daar willen we in deel 2 van deze serie een aanzet voor geven.

Kritiek op onderwijsonderzoek

Het onderwijsonderzoek waarin effectgrootten centraal staan, is een vorm van kwantitatief sociaalwetenschappelijk onderzoek waar in het algemeen grote vraagtekens bij kunnen worden gezet. Het meest principiële is dat de sociale werkelijkheid zich niet op dezelfde wijze laat kwantificeren als de fysieke werkelijkheid. De kwantitatieve sociaalwetenschappelijke methodologie oriënteert zich op de natuurwetenschappen waarin bijvoorbeeld met wederzijds uitsluitende categorieën wordt gewerkt die de sociale werkelijkheid vaak geen recht doen.

Wittgenstein heeft ooit gezegd dat categorieën in de sociale werkelijkheid vaak meer weg hebben van familiegelijkenissen: Jan heeft het haar van tante Annie, loopt net als grootvader en is net zo ongeduldig als oom Henk. Sociaalwetenschappelijke feiten hebben een ander karakter dan natuurwetenschappelijke omdat ze zelden zonder interpretatie bestaan en die interpretaties wisselen met de context. De referentiegroep theorie is daarvan een prachtige uitwerking: hetzelfde ‘feit’ kan totaal veranderen, al naar gelang het vergelijkingskader waarin het wordt geplaatst: rijkdom kan zo in armoede verkeren, intelligentie in domheid. En denk ook aan het theorema van W.I. Thomas: ‘If people define situations as real, they’re real in their consequences’.
De echo van dergelijke overwegingen zijn duidelijk hoorbaar in de woorden van Tom Bennett in ‘Teacher Proof’ (2013):

Human behaviour isn’t amenable to the same kind of reductions and processes that we can use in, say, chemistry, where concepts such as the bonds between atoms are fairly well understood and relatively easy to break down and analyse in isolation.

But humans don’t work like hydrogen bonds. There are so many factors that appear to govern our behaviour that to reduce them to one o[r] two variables is to lose sight of the complexity of the picture. […]

Even if you claim (and this itself is contestable) that human behaviour could theoretically be predictable, that is very different from saying that it can in every instance be predicted. (p. 46 en 47.)

En verderop:

My opinion is this: there are few things that educational science has brought to the classroom that could not already have been discerned by a competent teacher intent on teaching well after a few years of pracice. (p. 57.)

Op verschillende plaatsen in zijn boek maakt Hattie zichzelf los van de abstractie van zijn statistische meta-analyses en benadrukt hij het belang van de context van het leslokaal. Waar hij over zijn leertheorie schrijft, zegt hij:

‘What is most important is that teaching is visible to the student, and that the learning is visible to the teacher. The more the student becomes the teacher and the more the teacher becomes the learner, then the more successful are the outcomes’ (p. 25).

en:

‘The model of visible teaching and learning combines, rather than contrasts, teacher-centred teaching and student-centred learning and knowing’ (p. 26).

Met andere woorden, de leerling moet ‘gezien’ zijn, de docent moet zorg en aandacht geven. De leraar moet het perspectief van de leerling kunnen innemen en de leerling moet zichzelf als zijn eigen leraar kunnen zien. Ook in eerdere publikaties gaf Hattie er blijk van dat de relatie leraar-leerling centraal staat in het succes of falen van onderwijs (bijv. Anderson e.a. 2005).

Volgens Terhart (2011) volgt Hattie in zijn leertheorie Karl Popper. En hier stuiten we op een ander probleem met onderwijsonderzoek: de strijd tussen concurrerende theorieën. We komen dat ook tegen bij de discussie over ontdekkend leren versus geleide instructie, die op deze blog wordt gevoerd.

Vaak, wanneer je (zoals een van ons) als leraar de onderzoeksliteratuur volgt, komt de gedachte in je op: wat moet ik hier mee? Wanneer cognitivisten weer eens van leer trekken tegen constructivisten of behaviouristen is dat een strijd die ver af staat van de dagelijkse werkelijkheid in klaslokalen. Dat wordt op een (onbedoeld) grappige manier geïllustreerd door een schema waarin de vier belangrijkste leertheorieën met elkaar worden vergeleken. Terwijl we dat doorlezen, realiseren we ons dat we van elk van die theorieën op zijn tijd wel eens iets in onze lessen hebben toegepast. Dus voor welke theorie moeten we nu kiezen? Vervolgens komen we onderaan dat schema een interessante formule tegen:

Behaviourism + Cognitivism + Constructivism = Complete Learning Theory.

Als we het niet dachten! Maar wat is dan het hele idee van een leertheorie nog waard? (Was maar een vraag.)

Een essentieel verschil tussen sociale en natuurwetenschappen is dat in die laatste empirische gegevens en experimenten de theorie kunnen falsificeren. In de sociale wetenschappen is dat maar in heel beperkte mate mogelijk.

Leereffect

Een ander probleem met meta-onderzoeken is de definitie van de verschillende factoren waarvan het effect wordt bepaald. Wat betekent (in tabel 11.1 in Hattie, 2009) precies: ‘Mastery learning’, ‘Inquiry-based teaching’, ‘Problem-based learning’, ‘Inductive teaching’? En wat wordt precies verstaan onder een ‘Average activator’ of een ‘Average facilitator’? De eerste is duidelijk beter dan de tweede (effectgrootte 0.60 tegen 0.17). In tegenstelling tot de natuurwetenschappen zijn begrippen als deze niet eenduidig kwantitatief of kwalitatief te definiëren. En daarmee worden de conclusies van dit soort onderzoeken net iets minder hard. Bovendien geeft dat ruimte aan interpretaties door een theoretische bril, waarmee een vooringenomen standpunt wordt bevestigd. Zo loopt Hattie duidelijk niet warm voor constructivisme en met zijn cijfers toont hij het gebrek aan succes van die stroming aan. Je kunt je afvragen hoe objectief deze resultaten zijn.

Een van Hatties meest robuuste conclusies is dat de leraar de belangrijkste factor is met het grootste effect op de leerprestaties van scholieren. Dat zal weinig mensen in het onderwijs verbazen. Maar wat wordt hier precies bedoeld? Sommigen zien een leraar als iemand die leerlingen op een spoor zet, hen veel autonomie geeft bij het ontdekken van nieuwe kennis. Anderen zien een leraar die centraal staat in de klas, leerlingen duidelijke instructies en opdrachten geeft, die ze vervolgens moeten uitvoeren. Hattie is een sterk voorstander van het laatste en zijn onderzoek laat, weinig verrassend, zien dat die vorm van lesgeven verre superieur is aan de eerste. Maar wanneer de definitie van lesmethoden beïnvloed wordt door de ideologische bril van de onderzoeker, hoe hard zijn dan de conclusies?

Ervaren docenten zullen geneigd zijn onafhankelijk van onderwijskundige ideologieën een keus te maken uit beschikbare lesmethoden. Heel pragmatisch zal een docent de ene keer voor geleide instructie en een andere keer voor ontdekkend leren kiezen. Wat zou helpen is als wetenschappers die keuze op de een of andere manier konden onderbouwen met aandacht voor de specifieke, lokale factoren.

‘Achievement’

Een ander punt is het begrip ‘achievement’ dat in ‘Visible Learning’ 200 keer voorkomt. Nergens wordt dat begrip helder gedefinieerd. Is dat het resultaat bij standaardtests, voor alleen rekenen/wiskunde en taal, of worden ook de resultaten van andere schoolvakken meegenomen? Gaat het om percentages geslaagden voor eindtoetsen voor de basisschool, eindexamens, percentage doorstroming naar voortgezette opleidingen? En kunnen de prestaties van die miljoenen leerlingen wel met elkaar worden vergeleken? Misschien missen we iets en is ‘achievement’ de standaardmeetlat van iedere onderwijsonderzoeker. We laten ons graag bijpraten.

Hatties analyses hebben merendeels betrekking op de hoog-ontwikkelde, Engelssprekende landen. Die vijf à zes landen hebben nogal verschillende onderwijssystemen en verschillen op hun beurt weer van die in andere landen. Zelf zegt Hattie daarover:

We should not generalize the findings of these meta-analyses to non-English speaking, or non-highly developed countries.

Dat maakt de conclusies meteen weer een stuk betrekkelijker. Kun je bovendien leerprestaties van kleuters, leerlingen van het primair, secundair, tertiair en volwassenenonderwijs wel op een hoop gooien? En hoe zit het met de vergelijking van resultaten van kortlopende experimenten onder strict gecontroleerde laboratoriumcondities met die in de rommelige praktijk van een klaslokaal over een langere periode?

Het is interessant dat Hattie in zijn, overigens heel sympathieke, boek ‘Visible Learning for Teachers’ (2012) schrijft:

… one of the more profound findings that has driven me as a father is the claim of Levin, Belfield, Muennig, and Rouse (2006) that the best predictor of health, wealth, and happiness in later life is not school achievement, but the number of years in schooling. Retaining students in learning is a highly desirable outcome of schooling, and because many students make decisions about staying in schooling between the ages of 11 and 15, this means that the school and learning experience at these ages must be productive, challenging, and engaging to ensure the best chance possible that students wil stay in school.

Met andere woorden, waar het in het onderwijs echt om gaat (zou moeten gaan) heeft minder te maken met ‘academic achievement’ dan met zaken als motivatie, uitdaging, creativiteit, zorg en aandacht, allemaal zaken die lastiger te meten zijn dan testuitslagen en examenresultaten, de ‘achievements’ waar Hatties effectonderzoek grotendeels op is gebaseerd.

Na dit alles blijven we zitten met de vraag wat we met ranglijsten als die in ‘Visible Learning’ aan moeten? Als we vaststellen dat:

  • de criteria waarmee het effect van bepaalde factoren worden gemeten, ‘achievement’, niet spijkerhard zijn,
  • die factoren zelf niet eenduidig zijn gedefinieerd,
  • veel van die factoren elkaar beïnvloeden en
  • die factoren elkaar behoorlijk overlappen,
  • geeft dit onderzoek ons weinig houvast in de bijzondere context van ons als leraar met een bepaalde opleiding, op een bepaalde school, met bepaalde leerlingen en noem nog maar een paar omstandigheden.

    In zijn kritische bespreking van Hatties boek schrijft Terhart (2012):

    A future mega-analysis, presented in, let’s say 2020, and possibly including 300 additional meta-analyses, will probably provide little variation in this regard. How long does it make sense to continue this process? If it is continued, further efforts will just lead to an asymptotic approximation of already known results (stability hypothesis).

    Wij stellen dan ook de volgende benadering van grootschalig onderwijsonderzoek voor. In plaats van de uitkomsten van dat onderzoek, bijvoorbeeld Hatties lijst van 138 factoren of Marzano’s weer heel ander lijstje van 11 factoren, als leidend te nemen, zien we die als ‘sensitizing concepts’ (Herbert Blumer, 1954, 1969), ofwel in het Nederlands ‘attenderende begrippen’. Die kunnen je helpen om dingen te zien die je anders niet ziet, terwijl je sommige uitkomsten ook naast je neer kunt leggen als voor die context niet relevant.

    De praktijk

    Als gezegd, de praktijk in het klaslokaal is veel rommeliger dan de laboratoriumonderzoeken en de abstracte wereld van de meta-analyses. Het blijft fascineren dat wat werkt in de ene klas niet werkt in een paralleklas met dezelfde leraar op dezelfde school. Of dat iets wel werkt op dinsdagochtend, maar precies (?) hetzelfde niet op vrijdagmiddag. Hoe vaak ga je als leraar niet naar huis met de vraag waarom iets die dag niet werkte en begin je te twijfelen aan je eigen kwaliteit als leraar. Om dan de volgende dag een toples te hebben, met dezelfde klas, dezelfde leerstof en dezelfde lesaanpak. De kwaliteit van een les hangt van talloze factoren af, waarvan je er maar weinig echt in de hand hebt. Daarvan een of twee aanwijzen, die voorspelbaar en altijd tot betere lessen leiden is hetzij triviaal, hetzij onmogelijk.

    In het volgende bericht denken we hardop na over manieren van onderzoek die aan de ene kant recht doen aan de resultaten van grootschalige meta-analyses (als ‘sensitizing concepts’) en anderzijds aan de context van de dagelijkse schoolpraktijk. Esther de Groot heeft op deze blog al een voorzet gegeven, waarbij ze opmerkt:

    Goed evaluatief onderzoek van de eigen onderwijspraktijk is ook niet eenvoudig. Wanneer de docent zowel de interventie ontwerpt, toepast als evalueert, dan is bias in de conclusies haast onvermijdelijk. En de eigen omgeving is zó bekend, dan zal het lastig zijn om juist kenmerkende aspecten van die context te benoemen die de resultaten beïnvloed zouden kunnen hebben.

    Die uitdaging nemen we aan.

    ________________________________

    Bronnen

    Anderson, A., Hattie, J., & Hamilton, R. J. (2005). Locus of control, self-efficacy, and motivation in different schools: Is moderation the key to success? Educational Psychology, 25(5), 517-535. doi: 10.1080/01443410500046754

    Tom Bennett, 2013. Teacher Proof: Why research in education doesn’t always mean what it claims, and what you can do about it. London. Routledge, 232 pp.

    Herbert Blumer, 1954. “What is Wrong with Social Theory.” American Sociological Review 18: 3-10 (www.brocku.ca/MeadProject/Blumer/Blumer_1954.html)

    Herbert Blumer, 1969. Symbolic interactionism, Perspectives and Methods. Englewood Cliffs, N.J., Prentice Hall.

    John Hattie, 2009. Visible learning: A synthesis of 800+ meta-analyses of achievement. London. Routledge.

    John Hattie, 2012. Visible learning for teachers: Maximizing impact on learning. London. Routledge.

    Ewald Terhart, 2011. Has John Hattie really found the holy grail of research on
    teaching? An extended review of Visible Learning. Journal of Curriculum Studies, 43:3, 425-438,
    DOI: 10.1080/00220272.2011.576774.

    About Dick van der Wateren

    Ik sta voor de klas op het Eerste Christelijk Lyceum in Haarlem en begeleid dagelijks talentvolle en begaafde leerlingen die meer uitdaging nodig hebben, of coach leerlingen die een probleem hebben waar we samen een oplossing voor vinden. Daarnaast ontwikkel ik digitaal lesmateriaal en video's voor Flip de Klas. Buiten het onderwijs heb ik een jarenlange ervaring als aardwetenschapper (o.a. in Antarctica en Afrika) en wetenschapsvoorlichter. Werken met jongeren is mijn passie. Voor mij zijn pubers zo'n beetje de leukste mensen. Ze hebben een enorme levenslust, zijn creatief, hebben originele ideeën - soms op het bizarre af - en kunnen zich nog alle kanten op ontwikkelen. Ik beschouw het als een voorrecht aan die ontwikkeling te kunnen bijdragen.

    12 Reacties to “Onderzoeken wat werkt in de klas 1”

    1. Goed en waardevol artikel.

      Like

    2. Hallo Dick:

      Jullie artikel met veel plezier gelezen, inderdaad, goed gedaan… Maar ik denk dat niet zozeer Hattie en al die andere wetenschappers, of ze nu kwantitatief zijn of niet de plank misslaan. Het grootste gevaar is dat men inderdaad de context verwaarloost en met de uitkomsten aan de haal gaat zo in de trant ” het is wetenschappelijk bewezen dat …..” en dan volgt weer een dogma. Tuurlijk zijn de uitkomsten van onderzoek in een ander land, pf een ander type school altijd in eerste instantie te zien als hypothesen die nog maar bewezen moeten worden.
      Dus onze kritiek moet zich vooral richten op diegenen die kritiekloos achter trends aanhollen, roepende dat “uit onderzoek blijkt ” en dus moeten we probleem X nu op deze wijze aanpakken. Overigens moeten we ons ook niet blond staren op de ervaringskennis van docenten, want is het niet zo dat hoe dichter je ergens op zit hoe minder je soms ziet?
      Maar ik blijf jullie volgen!

      Johan Boone

      Like

      • Hallo Johan,
        Dank je wel. Het gevaar van de eigen praktijk onderzoeken is inderdaad dat je dingen niet ziet, of bevooroordeeld bent, m.a.w. je hebt een ‘bias’. Maar dat gevaar doet zich overal voor bij waarneming door mensen, zelfs bij de ‘objectieve’ natuurwetenschappen. Elke waarneming is gekleurd door de bril van de waarnemer. Het is de kunst die bias te onderkennen, zo nauwkeurig mogelijk te beschrijven en de gevolgen in rekening te brengen. (Weet eigenlijk niet of dit wel goed Nederlands is, maar je begrijpt wat ik bedoel.)

        Like

    3. Hoe weten we wat werkt?

      Dick van der Wateren en Flip Schrameijer scheppen een schijntegenstelling tussen verschillende onderzoeksstrategieën en beseffen onvoldoende de bruikbaarheid van effectmetingen in de dagelijkse onderwijspraktijk.
      Hoewel in het artikel respect wordt getoond voor het werk van John Hattie en er een (beperkte) bruikbaarheid aan zijn uitkomsten wordt toegekend, doet het artikel in mijn ogen geen recht aan de persoon en het belang van het werk van John Hattie.
      Het artikel zet John neer als een theoreticus die met een ideologisch gekleurde bril de uitkomsten van onderzoek interpreteert. Zo ken ik hem absoluut niet. John is een bevlogen onderwijsdier, die zelf met zijn voeten in de klei heeft gestaan op een middelbare school. Zijn motivatie om een synthese van meta-analyses te maken kwam voort uit een eenvoudige vraag:

      we beschikken over zoveel data, maar wat is de betekenis hiervan?

      Hij zag heel eenvoudig door de bomen het bos niet. In dit artikel wordt de volgorde anders voorgesteld: “Maar wanneer de definitie van lesmethoden beïnvloed wordt door de ideologische bril van de onderzoeker, hoe hard zijn dan de conclusies?”

      Hier zaait het artikel twijfel omtrent de wetenschappelijke integriteit van John Hattie. Er is methodische kritiek mogelijk op zijn werk, maar Hattie is geen Stapel! Om met Hattie te spreken: “Show me the evidence!

      John Hattie heeft data geanalyseerd, gezocht naar de betekenis en vervolgens een visie op onderwijs ontwikkeld. Een andere voorstelling van zaken doet de werkelijkheid geweld aan.

      De betekenis, die Hattie uit zijn analyse destilleert, is op het eerste gezicht betrekkelijk eenvoudig: des te explicieter het leerproces voor de leerling en de leraar is, des te beter zijn de resultaten. Het moet voor de leerling zichtbaar zijn wat er geleerd gaat worden en voor de leraar wat er geleerd wordt.

      Het artikel gaat volledig voorbij aan de meest dwingende conclusie, die uit het werk van Hattie volgt:

      in het onderwijs heeft vrijwel alles een positief effect!

      Hiermee heeft Hattie de bewijslast enorm verhoogd: welk bewijs kun je overleggen, dat jouw aanpak een bovengemiddeld effect heeft?

      Dit neemt niet weg dat sommige beleidsmakers te gemakkelijk laatdunkend doen over zaken, die laag op Hattie’s ranglijst staan. Reductie van de klassengrootte, met een gemiddeld effect van rond 0,2, is hier een voorbeeld van. Beleidsmakers concluderen dan net iets te gemakkelijk, dat “klassengrootte er niet toe doet”. Een positief effect van 0,2 komt wel overeen met 3 maanden leerwinst in een schooljaar! Het klopt ook, dat allerlei zaken die hoog en laag op de ranglijst van Hattie staan, samenhangen. Hattie geeft zelf aan, dat sommige zaken die laag op de ranglijst staan voorwaardenscheppend zijn voor zaken, die hoger op de ranglijst staan.

      John Hattie heeft in een boek van nog geen 400 bladzijden een groot aantal onderzoeksresultaten gebundeld, die een periode van ruim 50 jaar beslaan. Dit brengt met zich mee, dat hij veel onderwerpen kort aanstipt. Maar begrippen als Mastery learning’, ‘Inquiry-based teaching’, ‘Problem-based learning’, en ‘Inductive teaching’, zijn bekende, welomschreven didactische benaderingen. Visible Learning is niet geschreven voor de belangstellende leek, het boek veronderstelt enige kennis van didactische methodes. Bovendien omschrijft Hattie alle begrippen wel degelijk. Zelf heb ik af en toe de moeite genomen om uit te zoeken wat precies verstaan werd onder een methodiek, waarvan ik minder goed op de hoogte was. Over huiswerk stelt Hattie duidelijk dat 0,29 een gemiddelde is van 6 tot 18 jarigen, dat het in het primair onderwijs een effect heeft, dat dicht bij nul ligt en dat de effectiviteit van huiswerk samenhangt met de aard van het huiswerk. Hieruit volgt, dat in het VO het gemiddelde effect veel hoger ligt dan die 0,29, afhankelijk van de keuzes die de docent maakt omtrent de aard van het huiswerk. Het artikel zegt hierover:

      “Om dat met een voorbeeld te illustreren, het kan goed zijn dat huiswerk, vergeleken met veel andere factoren, statistisch bekeken, weinig invloed heeft op de leerprestaties, maar onder specifieke omstandigheden kan huiswerk maken wel degelijk de doorslag geven voor het leersucces van een bepaalde leerling. Een docent is ter plaatse, kent die specifieke omstandigheden en die bepaalde leerling en kan die ‘factoren’ dus beoordelen en afwegen.”

      Dit is feitelijk een samenvatting van wat Hattie zelf over huiswerk schrijft.

      Wat Hattie bedoelt als hij de docent meer als “facilitair” danwel meer als “activator” beschouwt, volgt uit de de verschillende didactische benaderingen, die hij gebruikt om tot de effecten van 0,6 en 0,17 te komen. De keuzes, die hij hier maakt, zijn arbitrair. Je kunt er lang over discussiëren in welke methodes en modellen de docent meer een begeleider is en in welke modellen hij meer een leider is. Waar het uiteindelijk om gaat, is de vraag vanuit welke mindframe je lesgeeft: is het leren van de leerling iets waar jij een grote of een kleine rol in speelt?

      Hattie omschrijft het woord achievement inderdaad niet, maar hier volstaat het woordenboek. Hij legt in hoofdstuk 2 van Visible Learning zijn methode omstandig uit. Bovendien laat hij in appendix E van Visible Learning for Teachers zien, hoe je zelf effectgroottes voor je eigen klas en zelfs per leerling kunt uitrekenen. De basis om tot uitspraken over “achievement” te komen zijn inderdaad toetscijfers. Daar baseren we in het onderwijs uiteindelijk alles op: wie naar welke school gaat, wie met welk diploma in hoeveel tijd de school verlaat, welke school zwak is enzovoort. Daarmee raken we aan de potentiële zwakte van deze manier van meten: het gemeten effect staat of valt met de kwaliteit van de achterliggende toetsen. Bij de ruim 50.000 onderzoeken, die door Hattie zijn meegenomen in zijn onderzoek, zal er vast sprake zijn van een wisselende kwaliteit van de achterliggende toetsinstrumenten, maar de volgende stelling:

      “Het onderwijsonderzoek waarin effectgrootten centraal staan, is een vorm van kwantitatief sociaalwetenschappelijk onderzoek waar in het algemeen grote vraagtekens bij kunnen worden gezet.”;

      is feitelijk een aanval op de kwaliteit van het toetsen in het onderwijs in het algemeen. Daarmee diskwalificeer je in een klap het consciëntieuze werk van tienduizenden docenten en ander toetsmakers. Ook hier zou ik willen zeggen: show me the evidence!

      De opmerking in het artikel dat:

      “kwantitatief onderwijsonderzoek door de aard van de methodiek de werkelijkheid sterk abstraheert en losmaakt van de context.” ,

      klopt, maar zijn daarmee de uitkomsten van kwantitatief onderwijskundig onderzoek minder waard dan de uitkomsten van andere types onderzoek? Hierin ontwaar ik een achterhaalde discussie over wetenschapsmethodiek, waarbij het een beter is dan het ander. Er zijn verschillende manieren om zicht te krijgen op de werkelijkheid. We beschikken over kwantitatieve onderzoeksmethodes, kwalitatieve onderzoeksmethodes en action research, dat de toepassing van beide methodes in de beroepspraktijk mogelijk maakt. Het beste onderwijskundige onderzoek, dat ik ken, is kwalitatief: het is het onderzoek, dat Graham Nuthall gedurende 45 jaar heeft gedaan naar de beleving van leerlingen in de klas. Hij werkte met kleine groepjes leerlingen. In zijn beginjaren hing hij microfoons aan de lampfittingen boven de leerlingen. Later werkte hij met draadloze camera’s en microfoons. Niet alleen citeert John Hattie het werk van Nuthall, ik weet, dat hij een diep respect heeft voor zijn methode, zijn doorzettingsvermogen en zijn bevindingen. Eén van de belangrijkste bevindingen van Nuthall nuanceert de volgende opvattingen in het artikel:

      “Een docent is ter plaatse, kent die specifieke omstandigheden en die bepaalde leerling en kan die ‘factoren’ dus beoordelen en afwegen.”

      en

      “Het blijft fascineren dat wat werkt in de ene klas niet werkt in een parallelklas met dezelfde leraar op dezelfde school. Of dat iets wel werkt op dinsdagochtend, maar precies (?) hetzelfde niet op vrijdagmiddag. Hoe vaak ga je als leraar niet naar huis met de vraag waarom iets die dag niet werkte en begin je te twijfelen aan je eigen kwaliteit als leraar. Om dan de volgende dag een toples te hebben, met dezelfde klas, dezelfde leerstof en dezelfde lesaanpak.”

      Als Nuthall iets heeft aangetoond, dan is het wel, dat docenten meestal weinig zicht hebben op welke leerling wat leert. Nuthall heeft laten zien, dat de impressie die een docent heeft van de les, vaak niet klopt met de werkelijkheid. Leerlingen zijn ervaren lesbezoekers, die precies weten hoe ze de docent een “goed gevoel” moeten bezorgen.

      De ontdekking van Nuthall, dat toetsen niet de kennis van een leerling meten, maar de bereidheid om een hoog cijfer op de toets te halen, is een wel fundamentele kritiek op kwantitatieve onderzoeksmethodes in het onderwijs. Toch komen Hattie en Nuthall langs fundamenteel verschillende wegen tot hetzelfde inzicht: des te explicieter het leerproces voor de leerling en de leraar is, des te beter zijn de resultaten. Het moet voor de leerling zichtbaar zijn wat er geleerd gaat worden en voor de leraar wat er geleerd wordt.

      In het artikel haalt de Britse leraar Tom Bennett uitgebreid aan. Dezelfde Tom Bennett, die op zaterdag 7 september jl. een uiterst geslaagde conferentie organiseerde, waarin onderzoekers en docenten kennis en ervaringen uitwisselden. Waar Ben Goldacre de keynote verzorgde met een pleidooi voor het gebruik van “randomized control trials”. Waar Robert Coe, auteur van het boek: “It’s the effectsize, Stupid! And Why it’s Important!”, een presentatie verzorgde. Kennelijk heeft Tom Bennett een wat genuanceerdere mening over welke onderzoekstechnieken wel of niet toegelaten zijn in het onderwijs.

      Ik raak nogal in verwarring als het artikel, op gezag van Terhart, Hattie in de schoenen schuift, dat hij een aanhanger van de “leertheorie” van Popper is. Popper? Leertheorie? Popper heeft een kennistheorie opgesteld, dat is toch echt heel iets anders dan een leertheorie. Gelukkig komt op 27 september het volgende boek van John Hattie uit:

      “Visible Learning and the Science of How We Learn”

      We kunnen dus binnenkort lezen wat Hattie zelf denkt. We mogen verwachten, dat hij zijn keuzes baseert op het beste bewijs, waar we nu over beschikken.

      Het werken met effectgroottes is niet meer weg te denken uit onderwijskundig onderzoek, en zal, naar mijn stellige verwachting, gemeengoed worden in de toekomstige onderwijspraktijk. Waarom? Omdat effectgroottes zoveel meer vertellen, dan een toetscijfer. Effectgroottes zeggen iets over het verschil tussen het begin en het eind. Daardoor brengen zij niet het resultaat in beeld maar de groei. En groei is het enige waar het om gaat in het onderwijs.

      Ik ben het met John Hattie eens als hij zegt: know thy impact!. Ken uw effect.

      Jan Tishauser

      Bronnen:

      John Hattie, Visible Learning

      John Hattie, Visible Learning for Teachers

      Graham Nuthall, The Hidden Lives of Learners

      Ben Goldacre: http://www.youtube.com/watch?v=TzM0xy1IovY …
      Ben Goldacre: http://www.youtube.com/watch?v=TUpkumj0eE8 …

      Tom Bennett: http://bit.ly/1fSmech

      Wikipedia: http://en.wikipedia.org/wiki/Karl_Popper

      Robert Coe: http://t.co/Y28qeiJsQy

      Robert Coe: http://t.co/fhGBAfb3E8

      Like

    Trackbacks/Pingbacks

    1. Onderzoeken wat werkt in de klas 1 | Manuela Bazen-Steenkamp - 12 september 2013

      […] See on onderzoekonderwijs.net […]

      Like

    2. Onderzoeken wat werkt in de klas 1 | onderwijsNL - 12 september 2013

      […] See on Scoop.it – onderwijs en natuurkundeHoewel je kan stellen dat ook dit een perspectief is en dus voor ‘bias’ zorgt vind ik het idee van ‘attenderende principes’ uitermate interessant. Blijven lezen.See on onderzoekonderwijs.net […]

      Like

    3. Zin in Leren! #MLI | 2 BE JAMMED - 13 september 2013

      […] blogartikel van Dick van der Wateren en Flip Schrameijer op Blogcollectief Onderzoek Onderwijs: Onderwijs  wat werkt in de klas 1. Zoals ik intuïtief al merk ‘de waarheid van al deze leertheorieën zal wel ergens in het […]

      Like

    4. Onderzoeken wat werkt in de klas. Antwoord op commentaar | Blogcollectief Onderzoek Onderwijs - 13 september 2013

      […] is een antwoord op de kritische reactie op ons eerste stuk door Jan Tishauer. We beantwoorden hier niet al zijn bezwaren. Een paar bewaren […]

      Like

    5. Pas op voor geprotocolleerd onderwijs | Blogcollectief Onderzoek Onderwijs - 21 september 2013

      […] ‘Onderzoeken wat werkt in de klas 1’ (12/9) gaven Dick van der Wateren en ik een voorzet voor een te ontwikkelen manier om conclusies […]

      Like

    6. Onderzoeken wat werkt in de klas 1 | Publieke Z... - 15 oktober 2014

      […] Dick van der Wateren en Flip Schrameijer Onderwijsonderzoekers komen vaak met heldere aanwijzingen over wat wel of niet werkt in het onderwijs. Ook ons blogcollectief publiceert geregeld over metho…  […]

      Like

    7. Onderzoeken wat werkt in de klas 1 | publiekezaak - 15 oktober 2014

      […] Source: onderzoekonderwijs.net […]

      Like

    Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

    Vul je gegevens in of klik op een icoon om in te loggen.

    WordPress.com logo

    Je reageert onder je WordPress.com account. Log uit / Bijwerken )

    Twitter-afbeelding

    Je reageert onder je Twitter account. Log uit / Bijwerken )

    Facebook foto

    Je reageert onder je Facebook account. Log uit / Bijwerken )

    Google+ photo

    Je reageert onder je Google+ account. Log uit / Bijwerken )

    Verbinden met %s

    %d bloggers op de volgende wijze: