Wij van WC-Eend

Laatst zag ik een opmerkelijk bericht op mijn Google® nieuwsfeed met de titel ‘Digitaal oefenen verbetert schoolprestaties voortgezet onderwijs’. Het kwam van de website van Emerce, een Nederlands tijdschrift en weblog gericht op berichtgeving over elektronische commercie. Er stond (http://www.emerce.nl/wire/digitaal-oefenen-verbetert-schoolprestaties-voortgezet-onderwijs):

Digitaal oefenen verbetert de schoolprestaties en motivatie van leerlingen in het voortgezet onderwijs. Dit blijkt uit recent onderzoek van Slimleren.nl onder 600 actieve gebruikers van het platform, een online programma waarmee middelbare scholieren de lesstof van Wiskunde, Nederlands, Engels en Rekenen interactief kunnen oefenen. De leerlingen zagen gemiddeld een verbetering van 1,5 punten in hun schoolresultaten. Daarnaast gaf 73% aan meer vertrouwen te hebben gekregen in een goed toets resultaat en gaf 77% aan meer plezier te hebben in het leren.

Klinkt indrukwekkend, maar ik twijfelde al bij de tweede zin. Ik lees daarin dat het een ‘onderzoek’ betreft onder 600 gebruikers van een product dat Slimleren heet die met Slimleren oefenden. Ik zie nergens dat er sprake is van een controle groep die, bijvoorbeeld, oefende met dezelfde stof maar op een andere wijze. Ik twitterde (https://twitter.com/P_A_Kirschner/status/714793016104468481) meteen dat oefenen blijkbaar tot een verbetering leidt. Niet echt wereldschokkend.

Mijn twijfel werd groter toen ik naar de website van de ‘onderzoekers’ ging en zag dat Slimleren.nl niet alleen uitvoerder was maar ook producent van het product. Dit gaat een stap verder dan een bedrijf zoals Coca-Cola dat anderen betaalt om onderzoek uit te voeren waaruit blijkt dat frisdrank mensen niet dik maakt. Neen, hier voert de fabrikant het onderzoek zelf uit!

Het bericht blijkt ook geplaatst te zijn door Slimleren.nl. Dus, het bericht over de fenomenale resultaten van het product Slimleren, over het ‘onderzoek’ dat uitgevoerd werd door Slimleren.nl, is geplaatst op Emerce door Slimleren.nl.

Emerce

Om een ander Nederlands spreekwoord te parafraseren: De slager keurt niet alleen zijn eigen vlees, maar plaatst een bericht op een commerciële site om de resultaten van zijn keuring te verspreiden. En het trieste is dat nieuwsdiensten dit bericht oppikken en klakkeloos verspreiden.

 

En nu over het ‘onderzoek’ zelf. Je merkt wel dat ik steeds het woord ‘onderzoek’ tussen aanhalingstekens zet. Waarom? Omdat ik wetenschappelijk onderzoeker ben: ik stel hoge eisen aan wat men onderzoek zou mogen noemen. Ik had ook steeds het woord onderzoek vooraf kunnen laten gaan door het woord ‘zogenaamd’, maar… het nemen van een kijkje en het meten van iets is geen onderzoek.

Op de website van Slimleren.nl lees ik:

In maart 2016 heeft Slimleren.nl onder 600 actieve gebruikers van het platform enquêtes afgenomen, waarbij onderzoek is gedaan naar het effect van digitaal oefenen met Slimleren op de schoolresultaten en motivatie van de leerlingen..

Ok, alles is zelfrapportage. Om het zeer zachtjes uit te drukken, enquêtes zijn niet de meest betrouwbare instrumenten om aan valide en betrouwbare data te komen! Raar is wel dat toen het bericht verscheen (29/3/2016) er sprake was van 300 gebruikers en op het moment dat ik dit schijf (1/4/2016) van 600. Verder, relevante informatie over geslacht, leeftijd, klas, soort school/scholen of schooltyp(en), welke toetsen worden gebruikt om de cijfers te bepalen, enzovoorts wordt allemaal niet vermeld dus de lezer weet niet of het over brugpiepers, Vmbo leerlingen, of gymnasiasten gaat en dus hoe generaliseerbaar de resultaten zijn en ga zo maar door. Maar alleen een kniesoor (of echte onderzoeker) die daar op let.

 

De leerlingen die binnen het onderzoek vallen gebruiken Slimleren zelfstandig (thuis) en zijn op het moment van onderzoek voor een periode van tussen 1 maand en 12 maandenactief op Slimleren, zodat invloed op de rapportcijfers en motivatie van de leerlingen waarneembaar kan zijn.

Ok, dus er is inderdaad geen controle conditie met leerlingen die op een andere manier oefenden. Er is ook geen randomisatie van de leerlingen, gouden regel voor zo ongeveer alle onderzoek. Het gaat alleen om kinderen die blijkbaar niet of nauwelijks oefenden voordat zij met Slimleren begonnen en die nu wel oefenen. Gewoon een aselecte groep gebruikers (onderzoekstechnisch zou het moeilijk slechter kunnen zijn) in, zo te zien, één of meer (?) scholen die de methode van Slimleren.nl hebben gekocht en gebruiken.

 

Op 29/3/2016 stond:

De totale groep leerlingen is vervolgens opgedeeld in drie groepen op basis van mate van activiteit: gemiddeld 0,5 uur per week, gemiddeld 1,5 uur per week en gemiddeld 3,0 uur per week.

Maar op 31/3/2016 was deze tekst verdwenen. Op basis van wat er op 29/3/2016 stond zie ik dat het inderdaad over meer of minder oefenen ging. Hoe zit het dan met de spectaculaire verbetering gerapporteerd in het bericht?

Gelukkig vind ik in het rapport[1] (PDF van 4 hele pagina’s van 15-20 regels tekst en 1 of 2 figuren!) dat er in het nieuwe onderzoek ook een dergelijke segmentatie heeft plaatsgevonden als waren de oefentijden vergroot (0,5-1 uur/week, 1-3 uur/week, 3-5 uur/week).

En wat blijkt? Mijn vermoedens kloppen echt. Het is een ‘onderzoek’ naar in hoeverre oefenen met de stof zorgt dat de stof beter beklijft. Bij enige oefening enige verbetering (gemiddeld 0,5 -0,85 punten afhankelijk van welke studie), bij gemiddelde oefening iets meer (1,0 of 1,5), en bij veel oefening nog meer (1,7 of 1,8). Met andere woorden, als je buiten de les 3-5 uur extra oefent levert dat een respectabele leerwinst op. Proficiat Slimleren.nl: Jullie leveren bewijs dat oefenen helpt en veel oefenen helpt meer dan weinig oefenen! Inderdaad wereldschokkende resultaten.

 

Vervolgens hebben wij de reacties op de enquête geanalyseerd en in de conclusie onderscheid gemaakt tussen de verschillende groepen.

Whatever

 

Wij vermoeden dat de directe feedback tijdens het oefenen, inzicht in wat je wel en niet hebt begrepen, ondersteunende game-elementen en kwalitatieve leer- en oefenstof hiervoor de drijvende factoren zijn.

Dus niet de voor de hand liggende conclusie dat oefenen helpt, maar speculaties en spinsels over elementen en oorzaken die onderzocht noch bewezen zijn!

 

Omdat de uitspraken over motivatie (eigenlijk wordt motivatie helemaal niet gemeten, maar een mening over vertrouwen, maar waarom zou ik me bezig houden met nog meer haarkloverij?) en plezier werden verkregen van de leerlingen, nadat – zoals Slimleren.nl zelf zegt – ‘invloed op de rapportcijfers en motivatie van de leerlingen waarneembaar’ was – kan ik alleen zeggen: Blijkbaar hebben de leerlingen na het zien van hogere cijfers vertrouwen dat hun cijfers hoger zijn. Wauw!

 

Nawoord:

In het aprilnummer van Didactief  staat het artikel ´Wetenschap en commercie? Pas op!´. Monique Marreveld en Bea Ros slaan hiermee de spijker met volle kracht op de kop.

 

Herblog naar hartenlust

Volg mij op Twitter – @P_A_Kirschner

[1] Met dank aan Karin Winters

About Paul Kirschner

Paul A. Kirschner is Universiteishoogleraar aan de Open Universiteit. Daarvoor was hij hoogleraar Onderwijspsychologie en directeur van het Fostering Effective, Efficient and Enjoyable Learning environments (FEEEL) programma aan het Welten-instituut (OU).. Hij is ook Visiting Professor Onderwijs met een leerstoel in Leren en Interactie in de Lerarenopleiding aan Oulu University (Finland). Hij is een internationaal erkende expert op zijn gebied en heeft zitting gehad in de Onderwijsraad in de periode 2000-2004 en is tegenwoordig lid van de Wetenschappelijk Technische Raad van SURF. Hij was President van de International Society for the Learning Sciences (ISLS) in de periode 2010-2011 en is tevens Fellow van de American Educational Research Association (en de eerste Europeaan die deze eer ontving). Hij is redacteur bij de hoog aangeschreven wetenschappelijke tijdschriften Journal of Computer Assisted Learning en Computers in Human Behavior, en hij is auteur van Ten steps to complex learning (Routledge/Erlbaum). Hij schrift ook regelmatig voor Didactief (de kolom KirschnerKiest over wat docenten kunnen met wetenschappelijke resultaten) en voor Van 12-18. In maart verscheen zijn nieuwe boek Urban Myths about Learning and Education. Hij wordt gezien als expert op veel gebieden en vooral computerondersteund samenwerkend leren (CSCL), het ontwerpen van innovatieve, elektronische leeromgevingen, mediagebruik in het onderwijs en het verwerven van complex cognitieve vaardigheden.

5 Reacties to “Wij van WC-Eend”

  1. Dit is op X, Y of Einstein? herblogden reageerde:

    Misschien moeten we wel een prijs in het leven roepen voor het meest self-serving ‘onderzoek’ van het jaar. Paul haalde het fileermes boven en er blijft weinig over…

    Like

Trackbacks/Pingbacks

  1. Wij van WC-Eend | Master Onderwijskunde Leren &... - 3 april 2016

    […] Laatst zag ik een opmerkelijk bericht op mijn Google® nieuwsfeed met de titel ‘Digitaal oefenen verbetert schoolprestaties voortgezet onderwijs’. Het kwam van de website van Emerce, een Nederlands tijdschrift en weblog gericht op berichtgeving over elektronische commercie. Er stond (http://www.emerce.nl/wire/digitaal-oefenen-verbetert-schoolprestaties-voortgezet-onderwijs): Digitaal oefenen verbetert de schoolprestaties en motivatie van leerlingen in het voortgezet onderwijs. Dit blijkt uit recent onderzoek van Slimleren.nl onder 600 actieve gebruikers van het platform, een online programma waarmee middelbare scholieren de lesstof van Wiskunde, Nederlands, Engels en Rekenen interactief kunnen oefenen. De leerlingen zagen gemiddeld een verbetering van 1,5 punten in hun schoolresultaten. Daarnaast gaf 73% aan meer vertrouwen te hebben gekregen in een goed toets resultaat en gaf 77% aan meer plezier te hebben in het leren.  […]

    Like

  2. Wij van WC-Eend | mediawijsheid | Scoop.it - 6 april 2016

    […] Laatst zag ik een opmerkelijk bericht op mijn Google® nieuwsfeed met de titel ‘Digitaal oefenen verbetert schoolprestaties voortgezet onderwijs’. Het kwam van de website van Emerce, een Nederlands tijdschrift en weblog gericht op berichtgeving over elektronische commercie. Er stond (http://www.emerce.nl/wire/digitaal-oefenen-verbetert-schoolprestaties-voortgezet-onderwijs): Digitaal oefenen verbetert de schoolprestaties en motivatie van leerlingen in het voortgezet onderwijs. Dit blijkt uit recent onderzoek van Slimleren.nl onder 600 actieve gebruikers van het platform, een online programma waarmee middelbare scholieren de lesstof van Wiskunde, Nederlands, Engels en Rekenen interactief kunnen oefenen. De leerlingen zagen gemiddeld een verbetering van 1,5 punten in hun schoolresultaten. Daarnaast gaf 73% aan meer vertrouwen te hebben gekregen in een goed toets resultaat en gaf 77% aan meer plezier te hebben in het leren.  […]

    Like

  3. Wij van WC-Eend | Master Leren & Innoveren ... - 6 april 2016

    […] Laatst zag ik een opmerkelijk bericht op mijn Google® nieuwsfeed met de titel ‘Digitaal oefenen verbetert schoolprestaties voortgezet onderwijs’. Het kwam van de website van Emerce, een Nederlands tijdschrift en weblog gericht op berichtgeving over elektronische commercie  […]

    Like

  4. Hoe lees je een onderzoeksartikel? Enkele tips voor docenten | Blogcollectief Onderzoek Onderwijs - 19 september 2016

    […] hoge kwaliteit zijn maar kunnen ook erbarmelijk of zelf vooringenomen zijn. Zie hierover mijn blog Wij van WC-eend voor een mooi […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: