Het is een studie die ik even had laten liggen, maar waar ik gisteren via Twitter door Jeroen Janssen en Amber Walraven werd aan herinnerd tussen alle Eurosongfestivalgeweld door.
Een studie aan MIT toont namelijk, met gebruik makend van een random controlled trial-aanpak, dat de studenten die geen laptop of tablet mochten gebruiken in de klas duidelijk een pak beter presteerden op het examen dan studenten uit een klas waar leerlingen wel laptops mochten gebruiken, of uit een klas waar leerlingen wel een tablet mochten gebruiken.
In het onderzoek werd er gebruik gemaakt van drie groepen waar klassen random aan toegewezen werden:
Control group classrooms were “technology-free,” indicating that students were not allowed to use laptops or tablets at their desk. In our first treatment group, students were permitted to use laptops and/or tablets during class for the purposes of note-taking and classroom participation (e.g., using the “e- text” version of the course textbook). However, professors had discretion to stop a student from using a computing device if the student was blatantly distracted from the class discussion. This treatment was intended to replicate the status quo collegiate classroom environment: students using Internet-enabled technology at will during lecture and discussion. Classrooms in our second treatment group, or “tablet-only” group, allowed students to use their tablet computers, but professors in this group required tablets to remain flat on the desk (i.e., with the screen facing up and parallel to the desk surface). This modified-tablet usage enabled students to access their tablets to reference their e-text or other class materials, while allowing professors to observe and correct student access to distracting applications. Therefore, the second treatment more closely replicated the “intended” use of Internet-enabled technology in the classroom.
Een kritiek zou kunnen zijn dat alle klassen uit dezelfde school – West Point – kwamen, maar dit liet tegelijk toe om alle studenten exact dezelfde cursus en examen te geven, wat vergelijking mogelijk maakt. Het examen bestond zowel uit multiple choice, gesloten en essay vragen waarbij bij de laatste ook gecontroleerd werd op lesgever-effect. Sommige lesgevers zouden bijvoorbeeld dit strenger kunnen beoordelen dan andere docenten. Wat bij deze laatste opviel, was hoeveel effect de verbeteraars op de beoordeling hadden, dus de focus kwam vooral op de eerste twee types vragen te liggen (zegt ook iets over de objectiviteit van essay-vragen…).
En wat blijkt? De resultaten in de groep waar technologie verboden is, liggen gemiddeld 18% van een standaard deviatie hoger dan in beide andere groepen, waarbij opvallend genoeg de sterkste leerlingen meest negatief effect ondervinden. Ook opvallend: niet iedereen in de klasgroepen die computers mochten gebruiken, deed dit. Maar de computers of tablets konden nog steeds een negatief effect hebben, wat we ook al uit eerder onderzoek wisten.
Zijn er bemerkingen te maken bij de studie? Altijd. Zo wilden de onderzoekers gebruik maken van een pretest om het startniveau te bepalen, maar kregen hier te laat toestemming voor, spijtig genoeg. De verschillen tussen lesgevers blijkt op verschillende punten behoorlijk groot (maar werd voor gecontroleerd).
Ook kan je op basis van dit onderzoek niet zeggen wat de oorzaak van de puntendaling is (afleiding, minder goed notities nemen, enz), alhoewel over deze topics al verschillende andere onderzoeken bestaan. Het onderzoek zegt ook niets over didactische aanpakken die laptops en tablets actief inzetten in de les.
Toch bleek Sugata Mitraop Twitter Facebook een beetje boos te zijn (dank Jeroen voor het beeld):
En wie vindt de 'technology-free' studie maar niks? pic.twitter.com/i1zDbgFWfY
— Jeroen Janssen (@J3ro3nJ) May 14, 2016
De man vergeet waar de T in MIT voor staat, denk ik, en ik zou het Massachusetts Institute of Technology niet snel verdenken van tegen technologie te zijn zelf. Maar tegelijk is het een te verwachten commentaar die in feite net de conclusie van het onderzoek is: als je technologie in een klassieke klasssetting gebruikt met een klassieke evaluatievorm dan lijkt dit een slecht idee. Maar Sugata geeft een goed idee voor een vervolgonderzoek. Het niveau van dit onderzoek ligt wel een pak hoger dan de laatste onderzoeken die ik van de man zelf las…
Abstract van het onderzoek:
We present findings from a study that prohibited computer devices in randomly selected classrooms of an introductory economics course at the United States Military Academy. Average final exam scores among students assigned to classrooms that allowed computers were 18 percent of a standard deviation lower than exam scores of students in classrooms that prohibited computers. Through the use of two separate treatment arms, we uncover evidence that this negative effect occurs in classrooms where laptops and tablets are permitted without restriction and in classrooms where students are only permitted to use tablets that must remain flat on the desk surface.
wpDiscuz