Door Jeroen Janssen (@J3ro3nJ). Eerder verschenen op de blog Onderwijskunde in Utrecht.

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken – sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect – voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

In de terminologie van Hattie’s Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat – althans in het rekenonderwijs – de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen “onderwijs-zoals-gebruikelijk” kregen. Zonder zo’n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo’n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

Moeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan – misschien beter dan toe nu toe – het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.