Laatst zag ik een opmerkelijk bericht op mijn Google® nieuwsfeed met de titel ‘Digitaal oefenen verbetert schoolprestaties voortgezet onderwijs’. Het kwam van de website van Emerce, een Nederlands tijdschrift en weblog gericht op berichtgeving over elektronische commercie. Er stond (http://www.emerce.nl/wire/digitaal-oefenen-verbetert-schoolprestaties-voortgezet-onderwijs):

Digitaal oefenen verbetert de schoolprestaties en motivatie van leerlingen in het voortgezet onderwijs. Dit blijkt uit recent onderzoek van Slimleren.nl onder 600 actieve gebruikers van het platform, een online programma waarmee middelbare scholieren de lesstof van Wiskunde, Nederlands, Engels en Rekenen interactief kunnen oefenen. De leerlingen zagen gemiddeld een verbetering van 1,5 punten in hun schoolresultaten. Daarnaast gaf 73% aan meer vertrouwen te hebben gekregen in een goed toets resultaat en gaf 77% aan meer plezier te hebben in het leren.

Klinkt indrukwekkend, maar ik twijfelde al bij de tweede zin. Ik lees daarin dat het een ‘onderzoek’ betreft onder 600 gebruikers van een product dat Slimleren heet die met Slimleren oefenden. Ik zie nergens dat er sprake is van een controle groep die, bijvoorbeeld, oefende met dezelfde stof maar op een andere wijze. Ik twitterde (https://twitter.com/P_A_Kirschner/status/714793016104468481) meteen dat oefenen blijkbaar tot een verbetering leidt. Niet echt wereldschokkend.

Mijn twijfel werd groter toen ik naar de website van de ‘onderzoekers’ ging en zag dat Slimleren.nl niet alleen uitvoerder was maar ook producent van het product. Dit gaat een stap verder dan een bedrijf zoals Coca-Cola dat anderen betaalt om onderzoek uit te voeren waaruit blijkt dat frisdrank mensen niet dik maakt. Neen, hier voert de fabrikant het onderzoek zelf uit!

Het bericht blijkt ook geplaatst te zijn door Slimleren.nl. Dus, het bericht over de fenomenale resultaten van het product Slimleren, over het ‘onderzoek’ dat uitgevoerd werd door Slimleren.nl, is geplaatst op Emerce door Slimleren.nl.

Om een ander Nederlands spreekwoord te parafraseren: De slager keurt niet alleen zijn eigen vlees, maar plaatst een bericht op een commerciële site om de resultaten van zijn keuring te verspreiden. En het trieste is dat nieuwsdiensten dit bericht oppikken en klakkeloos verspreiden.

En nu over het ‘onderzoek’ zelf. Je merkt wel dat ik steeds het woord ‘onderzoek’ tussen aanhalingstekens zet. Waarom? Omdat ik wetenschappelijk onderzoeker ben: ik stel hoge eisen aan wat men onderzoek zou mogen noemen. Ik had ook steeds het woord onderzoek vooraf kunnen laten gaan door het woord ‘zogenaamd’, maar… het nemen van een kijkje en het meten van iets is geen onderzoek.

Op de website van Slimleren.nl lees ik:

In maart 2016 heeft Slimleren.nl onder 600 actieve gebruikers van het platform enquêtes afgenomen, waarbij onderzoek is gedaan naar het effect van digitaal oefenen met Slimleren op de schoolresultaten en motivatie van de leerlingen..

Ok, alles is zelfrapportage. Om het zeer zachtjes uit te drukken, enquêtes zijn niet de meest betrouwbare instrumenten om aan valide en betrouwbare data te komen! Raar is wel dat toen het bericht verscheen (29/3/2016) er sprake was van 300 gebruikers en op het moment dat ik dit schijf (1/4/2016) van 600. Verder, relevante informatie over geslacht, leeftijd, klas, soort school/scholen of schooltyp(en), welke toetsen worden gebruikt om de cijfers te bepalen, enzovoorts wordt allemaal niet vermeld dus de lezer weet niet of het over brugpiepers, Vmbo leerlingen, of gymnasiasten gaat en dus hoe generaliseerbaar de resultaten zijn en ga zo maar door. Maar alleen een kniesoor (of echte onderzoeker) die daar op let.

De leerlingen die binnen het onderzoek vallen gebruiken Slimleren zelfstandig (thuis) en zijn op het moment van onderzoek voor een periode van tussen 1 maand en 12 maandenactief op Slimleren, zodat invloed op de rapportcijfers en motivatie van de leerlingen waarneembaar kan zijn.

Ok, dus er is inderdaad geen controle conditie met leerlingen die op een andere manier oefenden. Er is ook geen randomisatie van de leerlingen, gouden regel voor zo ongeveer alle onderzoek. Het gaat alleen om kinderen die blijkbaar niet of nauwelijks oefenden voordat zij met Slimleren begonnen en die nu wel oefenen. Gewoon een aselecte groep gebruikers (onderzoekstechnisch zou het moeilijk slechter kunnen zijn) in, zo te zien, één of meer (?) scholen die de methode van Slimleren.nl hebben gekocht en gebruiken.

Op 29/3/2016 stond:

De totale groep leerlingen is vervolgens opgedeeld in drie groepen op basis van mate van activiteit: gemiddeld 0,5 uur per week, gemiddeld 1,5 uur per week en gemiddeld 3,0 uur per week.

Maar op 31/3/2016 was deze tekst verdwenen. Op basis van wat er op 29/3/2016 stond zie ik dat het inderdaad over meer of minder oefenen ging. Hoe zit het dan met de spectaculaire verbetering gerapporteerd in het bericht?

Gelukkig vind ik in het rapport[1] (PDF van 4 hele pagina’s van 15-20 regels tekst en 1 of 2 figuren!) dat er in het nieuwe onderzoek ook een dergelijke segmentatie heeft plaatsgevonden als waren de oefentijden vergroot (0,5-1 uur/week, 1-3 uur/week, 3-5 uur/week).

En wat blijkt? Mijn vermoedens kloppen echt. Het is een ‘onderzoek’ naar in hoeverre oefenen met de stof zorgt dat de stof beter beklijft. Bij enige oefening enige verbetering (gemiddeld 0,5 -0,85 punten afhankelijk van welke studie), bij gemiddelde oefening iets meer (1,0 of 1,5), en bij veel oefening nog meer (1,7 of 1,8). Met andere woorden, als je buiten de les 3-5 uur extra oefent levert dat een respectabele leerwinst op. Proficiat Slimleren.nl: Jullie leveren bewijs dat oefenen helpt en veel oefenen helpt meer dan weinig oefenen! Inderdaad wereldschokkende resultaten.

Vervolgens hebben wij de reacties op de enquête geanalyseerd en in de conclusie onderscheid gemaakt tussen de verschillende groepen.

Whatever

Wij vermoeden dat de directe feedback tijdens het oefenen, inzicht in wat je wel en niet hebt begrepen, ondersteunende game-elementen en kwalitatieve leer- en oefenstof hiervoor de drijvende factoren zijn.

Dus niet de voor de hand liggende conclusie dat oefenen helpt, maar speculaties en spinsels over elementen en oorzaken die onderzocht noch bewezen zijn!

Omdat de uitspraken over motivatie (eigenlijk wordt motivatie helemaal niet gemeten, maar een mening over vertrouwen, maar waarom zou ik me bezig houden met nog meer haarkloverij?) en plezier werden verkregen van de leerlingen, nadat – zoals Slimleren.nl zelf zegt – ‘invloed op de rapportcijfers en motivatie van de leerlingen waarneembaar’ was – kan ik alleen zeggen: Blijkbaar hebben de leerlingen na het zien van hogere cijfers vertrouwen dat hun cijfers hoger zijn. Wauw!

Nawoord:

In het aprilnummer van Didactief  staat het artikel ´Wetenschap en commercie? Pas op!´. Monique Marreveld en Bea Ros slaan hiermee de spijker met volle kracht op de kop.

Herblog naar hartenlust

Volg mij op Twitter – @P_A_Kirschner

[1] Met dank aan Karin Winters