Als je iets onderzocht hebt als wetenschapper en jij, jouw universiteit, de geldverstrekker of alle drie tezamen de aandacht van anderen willen trekken over de uitkomsten, dan is het normaal dat een of meer van de partijen een persbericht opstelt. Dit bericht is natuurlijk het liefst voorzien van een sexy, eye-catching titel. Hier is m.i. helemaal niets mis mee, mits de kop klopt! Ionica Smeets, wetenschapsjournaliste (o.a. NRC) en hoogleraar wetenschapscommunicatie aan de Universiteit Leiden maakt in haar oratie “Enige beschouwingen over de waarde der wetenschapscommunicatie” duidelijk dat wetenschapsjournalistiek zeer belangrijk is voor wetenschapper, universiteit, geldverstrekker én maatschappij. Maar zij waarschuwt ons ook. Het kan fout gaan (zij stelt zelfs: “De journalisten snappen er niets van”) en deze fouten kunnen soms vervelende gevolgen hebben. Berucht zijn de artikelen die wij bijna dagelijks in de kranten en tijdschriften zien over diëten en de dieetadviezen die bijna uitsluitend geschreven worden op basis van een persbericht, die journalisten niet echt snappen. Daarbij lijken deze journalisten eigenlijk niet in de werkelijke inhoud geïnteresseerd., Deze twee bij elkaar opgeteld, zorgen ervoor dat zij  – of de wetenschappers, onderzoeksinstelling en/of journalisten – een beetje op de loop gaan met de werkelijke resultaten.

Een mooi geval kwam ik tegen in een persbericht van NRO (Nationaal Regieorgaan Onderwijsonderzoek; verstrekker van geld voor onderwijsgerelateerd wetenschappelijk onderzoek over een uitstekend onderzoek van Judith ter Vrugte[1] van de Universiteit Twente (UTwente). De titel van het bericht luidde “Educatief rekenspel is effectief voor vmbo’ers”;. Daaruit zou je kunnen concluderen dat er een onderzoek uitgevoerd is (of zelfs een reeks van onderzoekingen bij een proefschrift) waaruit onderwijs met rekenspellen (de interventie / experimentele conditie) vergeleken werd met onderwijs zonder rekenspellen (de controleconditie) en dat het onderwijs met/door rekenspellen tot significant beter resultaten heeft geleid dan het onderwijs zonder. Maar als ik naar de website van de verdediging ga, lees ik dat het iets anders in elkaar steekt. De UTwente schrijft (ik heb een aantal saillante zinssneden vet gemaakt):

…studies in the current dissertation adopted a value-added approach: a standard version of the game (i.e., an educational math game ‘Zeldenrust’) was compared to versions that were enhanced with different forms of instructional support (i.e., self-explanation prompts, collaboration, and faded worked examples). Three consecutive empirical studies investigated the effect of these forms of instructional support on the in-game performance and knowledge acquisition of prevocational students.

It is important to highlight the outcome that learning was significantly enhanced in all three studies…These findings show that the intervention involving the educational game ‘Zeldenrust’ formed a solid foundation for learning about the domain of proportional reasoning. The results of the three studies show that further improvement of this environment was difficult, but possible. The investigated implementations of self-explanation prompts and collaboration did not result in improved effectiveness, but the addition of faded worked examples did. This seems to suggest that prevocational students benefit from continuous support that contains expert advice. Though game designers show a tendency to hide the instructional component and educational content in educational games, results of the current line of study suggest that a formal representation of the educational content in the game-environment could support students gameplay and learning.

Dus, terwijl Judith uitstekend onderzoek heeft gedaan (ik heb het proefschrift van haar ontvangen en gelezen), heeft zij iets heel anders laten zien en heeft de UT ook iets heel anders gerapporteerd dan hetgeen het kopje van NRO suggereert. Judith heeft laten zien dat één specifiek rekenspel met een bepaalde vorm van ondersteuning / instructie tot beter leren leidde dan hetzelfde rekenspel zonder die ondersteuning. Dit staat zelfs in zoveel woorden in de samenvatting van haar proefschrift: “Voor deze dissertatie werd onderzocht hoe de effectiviteit van educatieve computerspellen kan worden geoptimaliseerd door het toevoegen van ondersteuningsvormen…”.

Verder, schrijft zij dat, bijvoorbeeld bij één van haar deelonderzoekingen waar zowel drie versies van het verrijkte spel (de interventies) als het gewone spel (controle), de studenten allemaal vooruitgingen van de voor- naar de natoets maar niet significant van elkaar verschilden. Ze zegt dan dat dat onderzoek “suggereert [cursief van mij] dat het spelen van het spel daadwerkelijk bij heeft gedragen aan de toename van kennis” maar dat de meeste van de toegevoegde ingrepen geen toegevoegde effecten hadden op het leren. Keurig netjes gerapporteerd zoals het een goede onderzoek(st)er betaamt. Vermeldingswaardig is dat (1) in haar derde studie het toevoegen van uitgewerkte voorbeelden aan het spel wel een significante effect op het leren had boven het spel zonder uitgewerkte voorbeelden en (2) de controle steeds het niet verrijkte spel zelf was en dat geen vergelijking werd gemaakt met ‘traditioneel’ onderwijs en dus wij weten niet wat de kennistoename zou zijn als de kinderen ‘gewoon’ les hadden ontvangen.

Met andere woorden, de kop van NRO – aangenomen dat het orgaan de lezer wil voorzien van de juiste informatie – had misschien beter kunnen zijn: “Rekenspellen ondersteund door uitgewerkte voorbeelden leidt tot beter leren dan rekenspellen zonder”. Ik geef toe, deze kop is een stuk minder sexy en spreekt minder tot de verbeelding, maar is wel juist.

Eerlijk is eerlijk; het bericht van NRO meldde wel (maar steeds hamerend op de positieve effecten van computerspellen!) dat:

Instructieve ondersteuning in de vorm van deels uitgewerkte voorbeelden kunnen de effectiviteit van zo’n spel optimaliseren…In educatieve spellen wordt meestal uitgegaan van actief en ontdekkend leren door het kind. De educatieve inhoud is veelal ingebed in het spel en de verhaallijn. Judith ter Vrugte: “De kennis die kinderen tijdens het spelen opdoen is vaak impliciet en contextgebonden. Hoe waardevol dat ook is, onderwijs streeft juist vaak naar ‘expliciete’ kennis. Het toevoegen van instructieve ondersteuning zou deze overgang kunnen ondersteunen en de effectiviteit van educatieve spellen optimaliseren. Er is echter nog weinig bekend over de vorm en implementatie van deze instructieve ondersteuning bij educatieve computerspellen.

Hierin – zie het citaat van Judith – haalt zij zelf de wind uit de zeilen van de evangelisten van “innovatief (zelf)ontdekkend onderwijs”, maar ik vrees dat deze subtiele boodschap niet opweegt tegen de sexy kop en dus voorbijgaat aan een heleboel mensen (zowel journalisten als onderwijsbestuurders). Op deze manier kan/zal de kop die NRO gebruikte zorgen dat kranten slechte / luie / onwetende lezers, of mensen die het proefschrift niet hebben gelezen een verkeerde boodschap krijgen. Docenten, onderwijsbestuurders, onderwijsbeleidsmakers, ouders, enzovoorts zouden kunnen denken dat door gebruik te maken van bepaalde rekenspellen in het vmbo leerlingen beter zullen leren en presteren. Uiteindelijk kunnen deze kwetsbare leerlingen de dupe van een onzorgvuldig persbericht worden met alle nare gevolgen van dien!

[1] Ik heb deze blog laten goedkeuren door Judith en ik heb die geplaatst met haar goedkeuring.