De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?

Door Jeroen Janssen (@J3ro3nJ). Eerder verschenen op de blog Onderwijskunde in Utrecht.

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken – sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect – voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Geo2010_Proof_Large

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

Hattie_barometer_2_hingeIn de terminologie van Hattie’s Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat – althans in het rekenonderwijs – de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

  1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen “onderwijs-zoals-gebruikelijk” kregen. Zonder zo’n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo’n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
  2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
  3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

ipadschoolMoeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan – misschien beter dan toe nu toe – het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.

About Dick van der Wateren

Ik sta voor de klas op het Eerste Christelijk Lyceum in Haarlem en begeleid dagelijks talentvolle en begaafde leerlingen die meer uitdaging nodig hebben, of coach leerlingen die een probleem hebben waar we samen een oplossing voor vinden. Daarnaast ontwikkel ik digitaal lesmateriaal en video's voor Flip de Klas. Buiten het onderwijs heb ik een jarenlange ervaring als aardwetenschapper (o.a. in Antarctica en Afrika) en wetenschapsvoorlichter. Werken met jongeren is mijn passie. Voor mij zijn pubers zo'n beetje de leukste mensen. Ze hebben een enorme levenslust, zijn creatief, hebben originele ideeën - soms op het bizarre af - en kunnen zich nog alle kanten op ontwikkelen. Ik beschouw het als een voorrecht aan die ontwikkeling te kunnen bijdragen.

13 Reacties to “De (nog) niet gerealiseerde potentie van onderwijstechnologie voor het rekenonderwijs?”

  1. Jeroen,

    Mooie blog en zoals je mij kent, uit het hart gegrepen. Je zou kunnen zeggen dat het een voortzetting is van wat Dick Clark poneert sinds 1983, namelijk dat het medium niet belangrijk is maar de didactiek. De mooiste nieuwe televisie met HD en wat dan ook maakt van een reality soap geen kwaliteitstelevisie! Maar ik denk dat het belangrijk is om uit te leggen waarom Hattie 0,40 het omslagpunt noemt. In zijn boek dat jij citeert zegt hij dat rijping alleen (dus als de lerenden ouder worden zonder dat er een andere interventie aan te pas komt) een effectgrootte heeft van 0,36 meen ik, Met andere woorden, al doe je niets krijg je een effectgrootte van circa 0,40 en alles wat een effect heeft – ook al is die in absolute zin groter dan nul – dat lager ligt dan wat rijping bereikt (<0,40), moet gezien worden als een onderwijsinterventie die negatief is. Die bereikt minder dan alleen ouder worden!

    Blijf bloggen; onderwijs heeft zulke informatie dringend nodig!

    paul

    Like

    • Hoi Paul,

      Bedankt voor je positieve reactie en je aanvulling wat betreft de interpretatie van effect groottes. Jouw uitleg waarom Hattie de grens bij +0.40 legt, is inderdaad ook zoals ik het begrijp.
      Het lijkt inderdaad zo dat deze meta-analyse bevestigt wat Clark al jaren roept over de invloed van media op het onderwijs; dat het gaat om de didactiek en niet het medium. Wat overigens wel interessant is, is dat Cheung en Slavin in hun meta-analyse onderwijstechnologie in drie categorieën indelen. Eén daarvan, de zogenaamde comprehensive models, is in feite een combinatie van het gebruik van onderwijstechnologie aangevuld met “non-computer activities” (klassikale instructie, samenwerkend leren). De effectgrootte van deze categorie is nog lager dan de algemene effectgrootte, namelijk +0.06. Het lijkt er dus op dat we er nog onvoldoende in slagen om een goede integratie van onderwijstechnologie en didactiek te realiseren.

      Jeroen

      Like

      • Hallo Jeroen en Paul
        Als ik het goed begrijp betekent dat wanneer we technologie, bv apps op een iPad, combineren met traditioneel lesgeven, bv frontaal uitleggen, het effect negatief is. Dus: je kunt beter lesgeven zoals dat al 100 jaar wordt gedaan en geen video’s, smartboard, laptops enz. in de klas gebruiken? Dat kan ik moeilijk geloven. Ik zal het wel niet begrepen hebben.
        Wat is de relatie van dit soort onderzoeken met de dagelijkse lespraktijk?

        Like

      • Dick,

        Helaas kan ik niet op jouw post reageren,

        Neen!

        Het gaat niet om wat je gebruikt maar hoe je het gebruikt. Directe instructie – al dan niet met technologie – heeft over de hele linie een positief effect; probleemgebaseerd – al dan niet met technologie – heeft over de hele linie een negatief effect. Het verkleinen van klassengrootte eveneens negatief terwijl een hoogopgeleide docent die diep conceptuele kennis heeft positief. Wanneer gaat men leren dat apps, computers enz. alleen gereedschappen zijn.

        Ik zou zeggen: Lees Hattie. Hij legt het haarfijn uit.

        paul

        Like

      • Hallo Paul,
        Volgens mij reageerde je net op mijn post.
        Ik heb Hattie ook gelezen en volg je helemaal wat betreft de effecten die je noemt. Bovendien ben ik het helemaal met je eens dat apps enz. gewoon gereedschappen zijn, net als een krijtje en een schoolbord. Natuurlijk maakt technologie het onderwijs niet beter wanneer de docent niet goed is. Volgens mij open deuren.
        Wat ik bedoel is, nogmaals, kan het kloppen dat het hier besproken onderzoek aantoont dat gebruik van technologie de lessen slechter maakt?

        Like

  2. Is er ergens een goede definitie te vinden wat “onderwijstechnologie” inhoudt? Is dat bij rekenonderwijs bijvoorbeeld ook een grafische rekenmachine of websites als rekenweb? Is dat ook een door de docent ingerichte ruimte/cursus in een ELO bijvoorbeeld. Het gebruik van een laptop/tablet/digiboard?
    Ben het met Paul eens, de didactiek is belangrijk en niet het medium…maar ben heel benieuwd wat er onder onderwijstechnologie verstaan wordt en waar het begint en eindigt?

    Like

    • Goede vraag! Cheung en Slavin geven de volgende definitie: “a variety of technology-based programs or applications that help deliver learning materials and support learning processes … to improve academic learning goals”. Dat is inderdaad een brede definitie. Cheung en Slavin maken delen onderwijstechnologie in in drie categorieën: *1( supplemental computer-assisted programs (“provide additional instruction at students’ assessed levels of need to supplement traditional classroom instruction”), (2) computer-managed learning systems (“use of computers to assess students’ mathematics levels, assign mathematics materials at appropriate levels, score tests on this materials, and chart students’ progress) en (3) comprehensive models (use of computer-assisted instruction along with non-computer activities).
      Cheung en Slavin vermelden expliciet dat rekenmachines niet opgenomen worden in de meta-analyse om twee redenen, voornamelijk omdat een rekenmachine meer een hulpmiddel is (een tool).

      Like

      • Ja, prima. Maar wat mij nu helemaal in verwarring brengt is dat, zodra ik onderwijstechnologie in mijn lessen introduceer, die lessen slechter zouden worden. In feite zelfs slechter dan wanneer ik helemaal geen les zou geven (effect door rijper worden). Als ik Pauls uitleg goed begrepen heb.
        Dat is toch heel onwaarschijnlijk?
        Iets klopt niet. Ik begrijp het verkeerd, of hun studie gaat over een laboratoriumsituatie die met de werkelijkheid weinig te maken heeft. Vandaar mijn vraag: wat is de relatie van dit soort onderzoeken met de onderwijspraktijk?

        Like

  3. Volgens mij is onderwijstechnologie een vertaling van ‘educational tools’. Daar valt eigenlijk zo’n beetje alles onder wat je in onderwijs gebruikt, dus zeker een grafische rekenmachine, maar ook het digibord (in zekere zin is een krijtjesbord ook een ‘educational tool’, maar ik denk dat de nadruk hier meer ligt op elektronica). Een ELO zie ikzelf ook als onderwijstechnologie.

    Like

  4. @Casper, onderzoek doen naar effecten is dan toch onvoorstelbaar moeilijk? Is dan uitsluiten (of insluiten) van tools niet wenselijk. Jij geeft aan dat je een ELO als onderwijstechnologie ziet maar ik weet dat bijvoorbeeld Learning Aanlytics van een ELO nog in de kinderschoenen staat. Hoe is dan leren met behulp van een laptop en een ELO meetbaar te maken?

    Like

  5. Ik vraag mij af wat het resultaat van Cheung en Slavin betekent als je onder technologie zowel het gebruik van rekenmachines, als een digiboard, als tablets, als intelligente tutoringsystemen verstaat. Ik kan daar in ieder geval niet zoveel mee. Ik denk dat het domein van onderzoek te breed is om dat vervolgens voor het onderwijs te gebruiken. Wat als het effect van het gebruik van tablets negatief is, en het gebruik van rekenmachines positief, en daar als gemiddelde 0.16 uitkomt? Dan zegt dat gemiddelde effect toch niets?

    Like

  6. Als je de ‘traditionele’ rekenmachine beschouwt als ‘assistive technology’, dan is het interessant om vast te stellen dat onderzoek heeft laten zien dat gebruik van die rekenmachine door kinderen met dyscalculie tot slechtere prestaties kan leiden.

    “Gemiddeld blijken de leerlingen met dyscalculie zelfs slechter te scoren op de toets waarbij bij alle vragen een rekenmachine mag worden gebruikt, dan op de toets waarbij een deel zonder rekenmachine moest worden beantwoord.”

    Mieke van Groenestijn van de Hogeschool Utrecht voerde dit onderzoek uit in opdracht van het College voor Examens. De bedoeling was, na te gaan of er in de toetsing verbetermogelijkheden zijn waardoor leerlingen met dyscalculie of andere zwakkere rekenaars beter laten zien wat zij op rekengebied kunnen.

    Like

  7. Je moet natuurlijk wel de juiste verwachtingen hebben

    In mijn praktijk (MBO en bedrijfsleven) wordt onderwijstechnologie meestal ingezet om met minder energie voor de organisatie (efficiëntie) hetzelfde te bereiken (effectiviteit… of ook wel ‘de norm’). minder vaak wordt de technologie ingezet om het de lerende wat makkelijker te maken en als het kan ook wat leuker (attractiviteit). Zelden wordt als doel gesteld dat de leerprestaties worden verbeterd.

    Verder ben ik het eens met de opmerking van dhr Kirschner dat onderwijstechnologie slechts een gereedschap is.
    een hamer is een goed stuk gereedschap maar met een hamer alleen kun je geen huis bouwen. je moet voor een klus het juiste stuk gereedschap kiezen. Nieuw gereedschap werkt vaak wel efficiënter. (laserwaterpas e.d.) zodat je de klus sneller kunt klaren en daarbij is het ook leuk om met nieuw gereedschap te spelen.

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: