Binnen een paar weken tijd kwamen twee onderzoeken in het nieuws waarover in diverse media nogal verstrekkende conclusies getrokken werden. Het ene is een onderzoek over klasgrootte waarover de eerste post van onze groepsblog ging, “Waarom Onderzoek Onderwijs?”. Het tweede is een onderzoek over onderwijs en opvoeding onder ruim 600 ouders door het blad J/M Voor Ouders. Beide onderzoeken wil ik hier tegen het licht houden, met name omdat de conclusies gevolgen kunnen hebben voor onderwijsbeleid.
Het CBS publiceerde vorige week een handig gereedschap waarmee je dit soort onderzoeken kunt beoordelen, “Peilingen Beoordelen, een checklist”. Eens kijken wat dat in deze gevallen oplevert.

Over het Antwerpse onderzoek naar de effecten van klasverkleining op de kwaliteit van het onderwijs heb ik al vastgesteld dat we dit met een flinke korrel zout moeten nemen. Het gaat hier om de scriptie van een masterstudente die naar mijn mening door de persdienst van de Universiteit van Antwerpen op een onverantwoordelijke manier naar buiten gebracht is. Terwijl de auteur, Sofie De Bondt, terecht een stuk voorzichtiger is in haar conclusies, kopten twee landelijke kranten, ingefluisterd door het persbericht, dat klasverkleining geen effect heeft op de kwaliteit van leren.

Voor je zulke vergaande conclusies trekt wil je graag dat de kwaliteit van het onderzoek waarop die gebaseerd zijn boven elke twijfel verheven is. Daar kunnen wel wat vragen bij gesteld worden. Zie de eerste post van deze groepsblog en de commentaren erbij: Waarom Onderzoek Onderwijs?.

Voor mij is duidelijk dat Universiteit van Antwerpen dit onderzoek nooit zo had mogen opblazen. Het is immers werk van iemand die het vak van onderzoeker nog moet leren. Hoe goed ook in zijn soort, dit staat niet op het niveau van langjarige studies door ervaren onderzoeksgroepen. Een onderwijsinstelling moet haar studenten beschermen en niet gebruiken om in het nieuws te komen.

Ouders vinden dat het slecht gaat met het onderwijs

Dat is een van de conclusies van het jaarlijkse opvoedonderzoek dat door het maandblad J/M is uitgevoerd onder 607 ouders. Behalve in de gedrukte oplage verscheen dit onderzoek op de J/M website: J/M onderzoek 2012: Ouders verliezen massaal vertrouwen in Nederlands onderwijs. En deze conclusie is dan ook nogal prominent door verschillende dagbladen overgenomen.
Het betreffende artikel zegt “VO-ouders (24 procent) vinden nog minder vaak dan PO-ouders (42 procent) dat het goed gaat met het onderwijs.” Gemiddeld zou dus ongeveer een derde van de Nederlandse ouders nog vertrouwen hebben in het onderwijs dat hun kinderen ontvangen. In een open brief schrijft de redactie:

Beste nieuwe Minister van Onderwijs,
Wij, ouders, maken ons grote zorgen over het onderwijs aan onze kinderen. Dat blijkt uit het J/M/ Onderzoek 2012. Slechts een derde van ons vindt dat het daar goed mee gaat. Drie jaar geleden was dat nog 58 procent! En het gaat nog niet eens heel goed, maar ‘redelijk’. […]

Vervolgens biedt het blad de (nieuwe) onderwijsminister actiepunten aan waarmee die in de komende vier jaar aan de slag kan. Die bestaan voornamelijk uit wat algemeenheden gelardeerd met betrouwbaar klinkende percentages. Zo vindt 86 % van de 607 ouders een “strenge, maar rechtvaardige leraar die de leerlingen met ferme hand aanpakt” ideaal. Die moet volgens 99 % “onverwijld gehoorzaamd” worden. (Het lijkt erop dat de ondervraagden de woorden in de mond gelegd zijn.)
Het onderzoek suggereert dat leerlingen “no nonsense informatie moeten krijgen op school.” 66 % van de ouders vindt dat het “niet best gesteld [is] met hun feitenkennis.” Volgens 70 % is het onderwijs “te veel gericht geweest op het ontplooien van talent.” Enkele aanbevelingen: “Laat ze meer leren”, “Haal meer uit onze kinderen”, Verlaag de prestatiedruk” en “Leg de lat hoger”.
O ja, op het eind krijgen we van de ouders toch nog een voldoende, een 6,8 voor de basisschool en een 6,6 voor de middelbare school. Dank u wel, maar ik begrijp er niets meer van.
Los van het feit dat een nieuwe minister met een dergelijk allegaartje aan, onderling ook nog tegenstrijdige, aanbevelingen weinig zal kunnen, is het de vraag of dit journalistieke onderzoek voldoet aan de criteria van een zorgvuldige peiling.

CBS checklist peilingen

Leggen we beide onderzoeken langs de meetlat van het CBS, dan blijkt het Antwerpse onderzoek behoorlijk van opzet (ook al valt op de conclusies veel af te dingen), maar het onderzoek van J/M valt volledig door de mand. De CBS-checklist geeft stap voor stap de criteria waaraan een betrouwbare peiling moet voldoen. Het loont de moeite het boekje (9 pagina’s) te downloaden en de komende weken bij de hand te houden wanneer we worden doodgegooid met allerlei cijfers die ons voor het ene of het andere politieke standpunt moeten winnen.

Het werkt een beetje als een determinatietabel (zoals een flora). Je gaat van vraag naar vraag en krijgt zo snel een indruk van de objectiviteit, betrouwbaarheid en onzekerheidsmarges van de uitspraken. Al bij vraag 2: “Is er een onderzoeksverantwoording waarin precies staat aangegeven hoe het onderzoek is opgezet en uitgevoerd?” blijkt het J/M-onderzoek onbetrouwbaar. Ik heb de redactie gevraagd om die gegevens en werd verwezen naar het blad, dat voor € 4,95 in de winkel ligt. Gekocht, maar nergens een onderzoeksverantwoording aangetroffen, dus eigenlijk hoeven we niet verder.
Maar het is leuk om toch nog even verder te kijken. Dat geeft een idee van de eigenschappen waaraan een goed onderzoek moet voldoen. Neem vraag 4:

Om de kwaliteit van de vragenlijst te kunnen beoordelen, moet in ieder geval zijn voldaan aan de volgende twee voorwaarden:
• De volledige vragenlijst is opgenomen in de onderzoeksverantwoording;
• De vragenlijst is voor de start van het onderzoek getest.

Niet dus. Verder naar vraag 5:

Hoe is de steekproef getrokken? Is de steekproef geloot met een kanssteekproef waarin elke persoon in de doelgroep een positieve kans had om in de steekproef te komen? Die kansen moeten bij voorkeur gelijk zijn. In ieder geval moeten de kansen altijd kunnen worden berekend.

Geen idee. Vraag 6:

Is de omvang van de gerealiseerde steekproef vermeld? Het gaat hier om het aantal respondenten.

Ja, 607, en voor de vergelijking met het onderzoek van 2007 430. Wat betreft de representativiteit moeten we de redactie op haar woord geloven. Wordt in elk geval niet verantwoord. Maar zie vraag 7:

Is het percentage respons voldoende hoog, zeg hoger dan 50%?

Geen flauw idee. Nergens wordt vermeld hoeveel mensen gevraagd zijn aan de enquète deel te nemen en hoeveel daarvan daadwerkelijk hebben meegedaan. Door naar vraag 8:

Is een correctie (weging) uitgevoerd voor de opgetreden non-respons?

Nergens te vinden. Vraag 9 tenslotte:

Worden onzekerheidsmarges in de uitkomsten vermeld?

Natuurlijk niet.

Je kunt het flauw vinden om een journalistiek product zo muggenzifterig te beoordelen. Het is tenslotte geen wetenschappelijk onderzoek. Ik vind van niet. Ook (of juist) journalistiek onderzoek moet aan hoge maatstaven van objectiviteit en betrouwbaarheid voldoen. Temeer daar in dit geval met de conclusies nogal hoog van de toren geblazen wordt: ‘Open Brief aan de Nieuwe Minister van Onderwijs’ namens de Nederlandse ouders.
De niet of slecht onderbouwde conclusies van zowel het Antwerpse als het J/M onderzoek kunnen in het onderwijsdebat een eigen leven gaan leiden met alle rampzalige gevolgen vandien. Daarom loont het de moeite om dit soort onderzoeken kritisch te bekijken.

Overdreven? Ik heb zo langzamerhand nog maar weinig vertrouwen in degenen die het onderwijbeleid in de Lage Landen maken en op de bronnen waarop die dat beleid baseren.

We zijn op onszelf aangewezen, jongens en meisjes. Maar dat is meteen onze kracht.

________________________

Referenties

CBS Peilingen Beoordelen, een checklist.

De Bondt, S. 2012. Heeft klasgrootte een effect op de leesvaardigheid van leerlingen in het 4e leerjaar basisonderwijs? – Analyse van de PIRLS 2006-data. Masterproef voorgelegd met het oog op het behalen van de graad van master in de Opleidings- en Onderwijswetenschappen. Universiteit Antwerpen, Instituut voor Onderwijs- en Informatiewetenschappen. Antwerpen. 52 pag. Link naar thesis.

J/M onderzoek 2012: Ouders verliezen massaal vertrouwen in Nederlands onderwijs