Recent Belgisch onderzoek zou aantonen dat  er in het Vlaamse basisonderwijs geen verband bestaat tussen klassengrootte en leerprestatie. Dat is heel onwaarschijnlijk, zoals overdrijving duidelijk laat zien: in welke omstandigheid leert een kind beter, bij privé-les of in een klas met 40 andere kinderen? Anderzijds moeten we openstaan voor de mogelijkheid dat het misschien heel anders is dan we altijd dachten. Contra-intuïtieve uitkomsten zijn immers de kersen op de onderzoekstaart. In Afrikaanse openluchtklassen luisteren honderd kinderen vol overgave naar hun leerkracht in het besef (of dat van hun ouders) dat onderwijs een zeldzame uitweg uit levenslange armoede biedt. Op katholieke elitescholen weten strenge, zeer hoog opgeleide Jezuïeten veel kinderen uit hun grote klassen op voorname posities in politiek en wetenschap voor te bereiden. Maar… leren die honderd Afrikaanse kinderen evenveel van één leerkracht als van vier? Presteren kinderen even goed in een grote klas onder één strenge, Jezuïet als in twee of drie kleinere waar net zulke mannen voor staan? Nee, het blijft onwaarschijnlijk.

In haar masterscriptie voor de Universiteit Antwerpen – Heeft klasgrootte een effect op de leesvaardigheid van leerlingen in het 4e leerjaar basisonderwijs?[1] – (eerder besproken in de eerste post van deze blog) gaat Sofie de Bondt als volgt te werk. Na een kort literatuuroverzicht kiest ze als uitkomstmaat een combinatiescore van een aantal testen die het tekstbegrip en de kwaliteit van de tekstinterpretatie van een aantal standaardteksten meten. De verschillen in deze scores worden geacht mede te zijn veroorzaakt door de grootte van de klassen van de betreffende leerlingen. Een derde groep variabelen moet ervoor zorgen dat er zo min mogelijk schijnverbanden optreden. Als een elitaire Jezuïetenschool bijvoorbeeld zowel grotere klassen heeft als beter opgeleide en orde handhavende leerkrachten, zouden de effecten van dat laatste ten onrechte voor een effect van klassengrootte kunnen worden aangezien. Dit is maar één voorbeeld van een hele reeks mogelijk interveniërende (tussenkomende) variabelen. Hier zijn het er twaalf, ingedeeld in drie categorieën: leerlingvariabelen (geslacht, leeftijd, sociaaleconomische status, het aantal boeken dat men thuis heeft, anderstaligheid thuis), klassenvariabelen (geslacht en ervaring leerkracht, gemiddeld leesniveau, gemiddelde sociaaleconomische status per klas, gemiddelde anderstaligheid thuis), schoolvariabelen (grootte, urbanisatiegraad).

Wanneer met behulp van statistische analyses al deze mogelijk interveniërende variabelen zo goed mogelijk zijn uitgeschakeld, blijft er een soort netto klassengrootte-effect over. Daarvan heeft De Bondt dus vastgesteld dat het afwezig is, of – anders gezegd – dat de prestatieverschillen die samengaan met klassengrootte niet statistisch significant zijn en dus, voor zover gevonden, aan het toeval kunnen worden toegeschreven. Statistische significantie of het ontbreken daarvan is overtuigender naarmate de onderzochte groep groter is; hier is hij bijzonder groot: 3.415 leerlingen.

So far, so good, maar mag je nu ook zeggen ‘er is geen verband tussen klassengrootte en leerprestatie’? Ja, dat mag, mits de beperkingen van dit onderzoek erbij worden vermeld. Gebeurt dat? Ja, best wel. Maar dat die beperkingen zo ingrijpend zijn dat er van de hoofdconclusie weinig tot niets overblijft, nee dat staat er niet.

De richting van de causaliteit

De impact van de beperkingen die hier gelden, wordt duidelijk met wat basis-methodologie voor ogen. Les één: om een oorzaak-gevolgrelatie tussen twee verschijnselen – zeg A en B – te kunnen bepalen, moet aannemelijk zijn dat het verband tussen A en B niet afkomstig is van een derde factor C die beide beïnvloedt. Voorts moet aannemelijk zijn dat de causaliteit niet andersom ligt, in dit geval: leerprestatie beïnvloedt klassengrootte. In de eerste mogelijkheid heeft dit onderzoek proberen te voorzien met de genoemde interveniërende variabelen.

De tweede mogelijkheid – C beïnvloedt A en B – is echter geenszins uitgesloten. Stel, een school richt drie parallelklassen in: twee grotere voor leerlingen die redelijk tot goed kunnen meekomen en een kleinere voor moeilijke leerlingen: dyslectie, leer- en/of gedragsproblemen, noem maar op. Mogelijk dat in de kleinere klas de leerprestaties van de moeilijke leerlingen tot het niveau van de andere klassen worden opgevoerd. Dit onderzoek vindt dan geen verschil tussen klassengrootte en leerprestatie. Vaak is zo’n niveauverbetering teveel gevraagd en blijft de probleemklas lager scoren dan andere. In dat geval vindt dit onderzoek een omgekeerd verband: kleinere klassen – lagere leerprestaties. Beide mogelijkheden komen voor.

Omgekeerde causaliteit is in de schoolpraktijk aan de orde van de dag en manifesteert zich op grote schaal, namelijk steeds waar de samenstelling en de grootte van een klas op welke manier dan ook, direct of indirect verband houden met leerprestaties. Zo zullen luidruchtige en ongemotiveerde leerlingen vaker wegens conflicten uit grotere dan uit kleinere klassen worden verwijderd. Wanneer de keus zich voordoet zal men in een grote, chaotische klas liever een rustig, zelfstandig kind plaatsen dan een extra druktemaker. Het is aannemelijk dat de vele schijnverbanden ten voordele van grote klassen de reële, ten nadele daarvan, ongeveer opheffen. Het punt is: we weten het niet, want dit onderzoek is blind voor omgekeerde causaliteit.

Als gezegd, wordt deze beperking in de conclusies genoemd, maar niet op waarde geschat. De conclusies vermelden slechts dat leerlingen ‘misschien’ bewust werden gegroepeerd, maar dat hier geen zicht op is en dat het erg zinvol zou zijn in toekomstig onderzoek de dingen na te gaan die ‘in het huidig onderzoek een limitatie vormen.’ Dit een understatement noemen, ís een understatement.

Controlevariabelen

Aan het andere methodologische beginsel – vermijden dat een factor C een schijnverband tussen A en B teweegbrengt – is wel aandacht besteed. De meest in aanmerking komende controle-variabelen (zo genoemd omdat er statistisch voor hun effect wordt ‘gecontroleerd’) zijn uiteraard die waarvan de grootste invloed op zowel leerprestatie als klassengrootte te verwachten is. Van invloed op de leerprestatie zijn alle mogelijke persoonlijke eigenschappen (intelligentie, ijver, motivatie, enzovoorts), gezinsfactoren (welstand, opleidings- en ambitieniveau, huwelijks-, en drankproblemen, enzovoorts), andere omgevingsfactoren ( sub-)culturele waarden, criminaliteit, misdaadcijfers, het belang dat men aan een opleiding hecht in buurt en familie], schoolfactoren (schoolbeleid, leerlingbegeleiding, kwaliteit en opleidingsniveau van leerkrachten, enzovoorts). Welke en hoeveel factoren men het beste uit dit onuitputtelijke aantal kan kiezen is een vraagstuk apart. Idealiter hebben ze het grootste verband met de leerprestatie en met de klassengrootte, want factoren die slechts een van beide variabelen raken behoren niet tot de C-categorie

Deze logica is de onderzoeker en haar begeleider kennelijk ontgaan want er wordt bijna uitsluitend gekeken naar factoren die de leerprestatie geacht worden te beïnvloeden. Daarnaast blijft afweging tegen andere mogelijke kandidaat-factoren achterwege. Het geslacht van leerlingen en de urbanisatiegraad rond de school hebben vast wel iets met leerprestaties te maken, maar waarom dat meer zou zijn dan de vele honderden factoren die buiten beschouwing blijven, wordt niet verantwoord. (Dat het geslacht van de leerkracht is meegenomen wordt overigens beargumenteerd met de bevinding van een andere Belgische masterscriptie dat “vrouwelijke leerkrachten een significant negatieve invloed hebben op de leesresultaten van leerlingen.”)

Confessionaliteit en lawaai

Laat me ter illustratie slechts twee voorbeelden noemen van belangrijke kwesties waarvoor niet is gecontroleerd. In Nederland doen confessionele scholen het al jaren consequent beter dan openbare. In een onderzoek van het weekblad Elsevier uit 2004 kwamen 16 scholen als beste uit de bus, afgemeten aan eindcijfers en zittenblijven.[2] Twee daarvan waren openbare scholen; dat is 17%, terwijl zij qua aantal 33% van alle scholen uitmaken. De reformatorische scholen scoorden het best. De confessionaliteit van de school onderhoudt dus een extreem significant verband met leerprestaties, waarbij het voor de hand ligt om o.a. aan een streng schoolklimaat en/of grote sociale controle te denken en aan een bovengemiddelde overeenkomst in normen en waarden tussen thuis en school. Niets van dit al is terug te vinden in de controlevariabelen van De Bondt; de woorden ‘schoolklimaat’ of ‘schoolcultuur’ komen er overigens geen enkele keer in voor.

Geluidsoverlast is in de meerderheid van de West-Europese scholen een groot probleem. De norm van 35 decibel (dB) wordt massaal overschreden.[3] Hier is vooral relevant dat Engels onderzoek een verband aantoont tussen klassengrootte en lawaai: klassen met ongeveer 17 leerlingen hebben een binnenlawaai van 60 dB, ongeveer lineair oplopend tot 75 bij 33 leerlingen.[4] Daarbij moet men bedenken dat decibellen geen lineaire schaal volgen maar een logaritmische: een verhoging met 10 dB wordt waargenomen als een verdubbeling van het lawaai. Een leerkracht moet, om zich verstaanbaar te maken bij een geluidsniveau van 75 dB zijn stem tot 85 decibel verheffen, vergelijkbaar met het lawaai van een Dieselvrachtwagen op 10 meter afstand. De auteurs van dit onderzoek verwijzen naar ander onderzoek waaruit blijkt dat kinderen ten gevolge van lawaai aanzienlijk minder presteren, speciaal bij het leren lezen als het geluidsniveau de gesproken taal hindert. Ander onderzoek laat het omgekeerde zien: verlaging van het achtergrondlawaai verhoogt de prestaties van zowel kleuter- als basisschoolleerlingen. Een eminent relevante factor dus die in dit onderzoek totaal ontbreekt.

Voor het ontbreken van een systematische keuze uit de vele mogelijk interveniërende variabelen waarmee schijnverbanden kunnen worden ontmaskerd is een simpele praktische reden, namelijk dat we niet van doen hebben met empirisch onderzoek maar met een analyse van gegevens die door anderen voor een ander doel zijn verzameld. Het betreft het Vlaamse deel van een groot internationaal onderzoek naar leesvaardigheid, pirls genaamd, dat in 2006 werd uitgevoerd door de International Association for the Evaluation of Educational Achievement.

De Bondt’s rapport begint met theoretische en methodologische overwegingen die leiden tot hypothesen en de keuze van de benodigde variabelen, maar vervolgens blijkt dat er maar weinig te kiezen valt. De uitkomstmaat en de onderzoekspopulatie (kinderen in het vierde jaar) liggen geheel vast en de controlevariabelen grotendeels, al zou men dat niet denken bij lezing van:

Vanuit die [zojuist door haar geschetste, FS] theoretische achtergrond is het gebruik van de pirls-data met andere woorden een logische voortvloeiing.

Excusez le mot

Niets is echter minder waar. Volgens mij is de eigenlijke probleemstelling van dit onderzoek ‘kijk eens of je met het materiaal van het pirls-onderzoek iets zinnigs kan zeggen over het verband tussen klassengrootte en leesprestaties’ en is het antwoord nee.

De eerste twee zinnen onder Limitaties en mogelijkheden tot vervolgonderzoek doen vermoeden dat de onderzoeker dit inziet: “De onderzoeksmethode, populatie, de aard en de gebruikte maat om de prestaties te meten, de controlevariabelen en de operationalisatie van de klasgroottevariabele, vormen allemaal factoren die de onderzoeksresultaten kunnen beïnvloeden. Dit maakt dat uitspraken zeer moeilijk gegeneraliseerd kunnen worden.” De indruk dat zij bereid is de reusachtige zwaktes van haar onderzoek te erkennen is echter onjuist. Dat blijkt uit het vervolg waar veel beperkingen aan gebrek aan tijd en gegevens worden geweten, alsof ze daardoor minder ernstig zouden zijn. Het blijkt nog meer uit het door de auteur zelf opgestelde persbericht waarin zonder limiet wordt gegeneraliseerd:

De grootte van de klas waar leerlingen in zitten heeft geen invloed op hun leesprestaties, nochtans wordt momenteel vanuit het onderwijsbeleid geïnvesteerd in klassenverkleining.[5]

Voor extra effect worden de aanzienlijke bedragen die met klassenverkleining gemoeid zijn toegevoegd.

Op basis van zo’n – excusez le mot – flutonderzoek het overheidsbeleid aanvallen vereist lef of een ziekelijke geldingsdrang. Wat een blamage, niet alleen voor de onderzoeker, maar misschien nog wel meer voor haar hooggeleerde begeleider en de Universiteit Antwerpen en ook wel voor alle media die de zeer onwaarschijnlijke conclusie van een scriptie letterlijk als wetenschappelijk feit hebben overgeschreven.