Archief

onderzoek

Meisjes en jongens verschillen in prestaties bij wiskunde en lezen.

By
12/05/2013
onderwijs, onderzoek, praktijk
3 reacties

Door Frans Droog

Deze blogpost is eerder verschenen op Droog’s leren delen.

De resultaten van een grootschalig onderzoek dat recent is gepubliceerd in het online tijdschrift PLOS ONE laten overduidelijk zien dat er een verschil is tussen de prestaties van jongens en meisjes wanneer er wordt gekeken naar wiskunde en lezen.

Sex Differences in Mathematics and Reading Achievement Are Inversely Related: Within- and Across-Nation Assessment of 10 Years of PISA Data

De naar het Nederlands vertaalde samenvatting:

Wij hebben een decennium aan data verzameld door het ‘Program for International Student Assessment” (PISA) geanalyseerd, hierbij inbegrepen de wiskundige en leesvaardigheden van bijna 1,5 miljoen 15 jarigen in 75 landen. Over alle landen gemiddeld scoorden jongens hoger dan meisjes in wiskunde maar lager dan meisjes in lezen. Het verschil tussen de seksen was drie keer zo hoog bij lezen dan bij wiskunde.

Er was aanzienlijke variatie in het verschil tussen de seksen tussen verschillende landen. Er zijn landen waar er geen sekseverschil is bij wiskunde en in sommige landen scoren meisjes hoger. Jongens scoorden lager in alle landen in alle vier de PISA onderzoeken bij lezen (2000, 2003, 2006, 2009).

Paradoxaal genoeg waren verschillen tussen de jongens en meisjes bij wiskunde consistent en sterk invers gerelateerd aan de verschillen tussen jongens en meisjes bij lezen. Landen met een kleiner verschil tussen de seksen bij wiskunde hadden een groter verschil tussen de seksen bij lezen, en vice versa. Dit effect trad niet alleen bij het vergelijken van landen maar ook bij het vergelijken binnen landen. Dit effect is gerelateerd aan de relatieve veranderingen van de sekseverschillen binnen het spectrum aan resultaten. Wij vonden geen sekseverschillen bij wiskunde tussen de minst presterende leerlingen maar hier was het sekseverschil bij lezen het grootst. In tegenstelling hiermee waren de verschillen tussen jongens en meisjes bij wiskunde het grootst bij de best presterende leerlingen en waren hier de sekseverschillen bij lezen het kleinst.

De implicatie is, dat als beleidsmakers beslissen dat veranderingen in de bestaande verschillen tussen jongens en meisjes gewenst zijn, verschillende aanpakken nodig zijn om dit aan te pakken voor wiskunde en lezen. Ingrepen die gericht zijn op hoog presterende meisjes bij wiskunde en op laag presterende jongens bij lezen zullen waarschijnlijk de grootste educatieve winst opleveren.

Jongens en meisjes verschillen in prestaties bij wiskunde en lezen.

En nu niet meer zeggen dat het niet zo is! :)

Maar, ook niet meer zeggen dat dit ook maar iets zegt over één individuele vrouwelijke of één individuele mannelijke leerling!

As van het Wetenschappelijke Kwaad

By
11/05/2013
onderzoek
Geef een reactie

Door Paul Kirschner

Als editor van twee wetenschappelijke tijdschriften geniet ik van het feit dat ik een steentje mag bijdragen aan het ontwikkelen en verspreiden van de wetenschap. Maar ik ben recentelijk opgeschrikt door twee beleidsveranderingen die mij direct treffen.

De eerste verandering is van Taylor & Francis en gaat over open access (d.w.z. vrije toegang tot artikelen in hun tijdschriften). T&F hanteert vanaf nu een beleid voor het beschikbaar stellen van hun artikelen dat door de Britse overheid eigenhandig is vastgesteld en waarvan de Britten ervan uitgaan dat de wereld hen zal volgen; “Rule, Brittania”! En wat hebben de Britten bepaald? Ten eerste komt er Gold access voor onmiddellijke toegang tot een artikel, waarvoor de indiener $3000 moet betalen. Dit bedrag koopt ook de mogelijkheid tot verspreiding via Creative Commons. Ten tweede komt er Green access; weliswaar gratis, maar met een embargoperiode van tussen de 12 en 24 maanden! Het ‘goede nieuws’ is dat de auteur een geaccepteerd artikel in haar/zijn eigen repository beschikbaar kan stellen voor derden, maar… T&F bepaalt dat dit alleen geldt voor de submitted versie, dus de eerst ingediende versie en niet de herziene of uiteindelijk geaccepteerde versie. Met andere woorden: de auteur mag een incomplete en niet met het uiteindelijke artikel overeenkomende versie als PDF van een Word-doc op het web zetten! Leve de vrijheid en openheid van de wetenschap!

Over de tweede beleidsverandering kreeg ik een e-mail met het volgende: “US editors and reviewers can no longer handle submissions by authors employed by the Government of Iran.” Wat is het geval? De Office of Foreign Assets Control (OFAC) van het Amerikaanse Ministerie van Financiën gaat over economische en handelssancties en zij hebben bepaald dat Amerikaanse editors, Elsevier staf en beoordelaars wetenschappelijke manuscripten waarvan een of meer auteurs voor de Iraanse overheid werkt, niet mogen behandelen. Hier de OFAC-bepaling.

Dit betekent enerzijds dat ‘mijn’ journal zulke manuscripten bij voorbaat afwijst en anderzijds dat ik, als ik toch zo’n besmet manuscript krijg, moet kiezen om het af te wijzen wegens OFAC sancties, omdat (al zou ik niet-Amerikaanse beoordelaars gebruiken) Elzeviers editors ze niet zouden mogen bewerken en het tijdschrift ze niet zou mogen publiceren omdat die in de VS zit! Leve “the land of the free and the home of the brave”!

Tot slot nog dit. Er blijkt een hele rel te bestaan over het dataminen in de archieven van medische en biologische tijdschriften om de resultaten van alle onderzoekingen over verschillende genetische aspecten van ziektes en aandoeningen bij elkaar te harken en zodoende sneller en gerichter aan geneesmiddelen te werken. Probleem is dat hoewel de onderzoekers al abonnementen hebben op alle tijdschriften, de uitgevers meer geld willen hebben om ze te ‘mijnen’! Leve de vrije markt!

Om in de stemming te blijven: Hoezee! Hoezee! Hoezee!

Deze blog verscheen ook op http://www.campusorleon.nl/system/files/co_times_mei_2013.pdf

Creativiteit toetsen – workshop van TheCrowd.nl

By
22/04/2013
onderwijs, onderzoek
1 reactie

Door Dick van der Wateren
Eerder verschenen op mijn blog

Creativiteit speelt op school, behalve bij de kunstvakken, een heel bescheiden rol. Creativiteit wordt vaak gezien als leuk kunnen tekenen of liedjes zingen. Bij de meeste andere vakken moet je gewoon leren wat in het boek staat en niet teveel lastige vragen stellen. Ik overdrijf misschien een beetje, maar Ken Robinson wees er in zijn veelbekeken TED-lezing Do schools kill creativity? op dat dit een funeste invloed heeft op de ontwikkeling van jonge mensen.
Ik denk dat de meesten van ons de creativiteit van onze leerlingen graag zouden willen stimuleren, als we maar wisten hoe. Alleen, de lesmethoden helpen niet erg mee. Die werken toch vooral toe naar ‘het juiste antwoord’ en bereiden voor op de vragen van het eindexamen. Niets mis mee, maar creatief kun je dat niet noemen.
Om de vraag te beantwoorden: ‘Hoe stimuleer ik de creativiteit van mijn leerlingen?’ organiseren Simon Verwer (@Denkfiguren) en ik twee workshops in het kader van TheCrowd.nl.

Twee vragen vooraf:

  • Waarom is creativiteit in het onderwijs belangrijk en is het belangrijk voor alle leerlingen?
  • Kun je iemands creativiteit meten en moet je dat willen?

Ik ben van mening dat creativiteit een centrale plaats in het onderwijs zou moeten hebben, bij alle vakken. Voor creativiteit bestaan allerlei definities, maar ik vind zelf deze heel bruikbaar:

Creativiteit is het vermogen van mensen om meerdere antwoorden op een vraag of meerdere oplossingen voor een probleem te vinden.

Dat is een eigenschap die voor iedereen nuttig is, of je nu kunstenaar, automonteur, hersenchirurg, politieagent, wiskundige, meubelmaker, socioloog of leraar bent. Degenen die in hun beroep het meeste succes hebben, zijn zonder uitzondering in hun vak de meest creatieven.
Daarbij is het stellen van de juiste vraag het belangrijkste en dat is precies waar we onze leerlingen te weinig in stimuleren.

Over de vraag of je creativiteit kunt en ook zou moeten meten werd naar aanleiding van mijn post op deze groepsblog Nieuwe methode om creativiteit van leerlingen te meten soms fel gediscussieerd. Ik schreef daar over een methode die door een Britse onderzoeksgroep was ontwikkeld (Lucas, Claxton en Spencer, 2013) in opdracht van de OECD, en die op een aantal Engelse scholen is uitgeprobeerd.

In Antwoord op commentaren schreef ik onder andere:

Als docent vind ik het spannend jonge mensen te begeleiden in het proces naar [een] ingeving, een origineel idee, of nieuw product. Ik beleef veel plezier aan het samen nadenken over vragen en problemen en mogelijke wegen naar een oplossing. De antwoorden zijn dan niet direct het belangrijkste. Net als in de wetenschap roepen vragen weer nieuwe vragen op.

Als meetbare kenmerken van creatieve ontwikkeling onderscheiden [Lucas e.a.]: nieuwsgierigheid, fantasie/vindingrijkheid, vasthoudenheid, discipline en samenwerking, ieder weer onderverdeeld in drie subcategoriën. Die lijst lijkt me voldoende houvast te geven om de vorderingen van leerlingen te volgen.

Ik zie dit in de eerste plaats [...] als een coachingsinstrument, dat op drie manieren wordt gebruikt:

  • leerlingen ontwikkelen hun creatieve vermogen door met dit instrument te reflecteren op hun eigen leeractiviteiten;
  • de docent geeft feedback aan de leerling door middel van een gesprek over de door beiden genoteerde scores;
  • de docent reflecteert met dit instrument op het effect van zijn of haar lessen en de gebruikte leermiddelen.

Dat laatste punt benadrukt dat lessen in creativiteit net zo belangrijk zijn voor de leraar als voor de leerling. Om leerlingen te helpen zich bewust te worden van hun creativiteit en die te ontwikkelen is het een voorwaarde dat de docent dat ook doet. Als het werkt, leidt deze aanpak tot betere, interessantere en uitdagender lessen. In alle vakken. Ook wiskunde, natuurkunde en andere ‘harde’ wetenschappen vragen om creativiteit.

Om ieder misverstand weg te nemen, het instrument is bedoeld als diagnostische instrument om de creatieve ontwikkeling van jonge mensen te volgen, niet als summatieve toets. Je moet er niet aan denken dat iemand een rapportcijfer voor creativiteit zou geven.

Workshop ‘Creativiteit meten: nuttig of niet?’

In deze workshop willen we samen met andere docenten en onderzoekers nadenken over manieren om creativiteit bij jonge mensen te bevorderen. We gaan uit van het instrument dat ontwikkeld is door de groep van Lucas e.a. Het doel van dit instrument is om de creatieve ontwikkeling van leerlingen te kunnen volgen. Het gaat hierbij uitdrukkelijk niet exclusief om de cultuurvakken. Onze opvatting en die van de Britse onderzoekers is dat creativiteit een onderdeel is van ieder vak. Simon Verwer en ik zien onze rol daarbij niet als die van cursusleider, maar als docenten met een eigen pakket aan ervaringen, die zoeken naar manieren om leerlingen in hun creatieve ontwikkeling te helpen. Van de deelnemers verwachten wij een zelfde opstelling. Ieder neemt zijn of haar expertise mee.

Samen met de deelnemers willen we in deze workshop een experimenteel onderzoek(je) opzetten waarbij verschillende instrumenten gebruikt kunnen worden om de creatieve ontwikkeling van leerlingen te volgen. Het idee is om 2x bij elkaar te komen, 1x voor de aftrap en 1x voor de terugkoppeling. Tijdens het onderzoek kan er natuurlijk digitaal met elkaar gecommuniceerd worden.

De workshop vindt plaats op:

donderdag 16 mei 17:00 – 20:30, inclusief borrel en pizza, op het Eerste Christelijk Lyceum (ECL), Zuider Emmakade 43, 2012 KN Haarlem.

Aanmelden: op de website van The Crowd http://www.thecrowd.nl/events/3M6C48F2/. Dan weten we hoeveel pizza’s we moeten bestellen en daar volgen ook verdere mededelingen, o.a. over vooraf te lezen literatuur en discussiepunten.

______________________________________________________________

Voor wie The Crowd nog niet kent:

The Crowd is een open professionele leergemeenschap, een netwerk en een platform voor onderwijsprofessionals die de regie voor een levenlang leren in eigen hand willen houden en samen willen werken aan inspirerend onderwijs voor de toekomst. Bij The Crowd ben je in goed gezelschap, sluit je aan!

Hoe werkt The Crowd?

Deelnemers

Voor 250 euro per jaar word je deelnemer.

Toegang
Je verkrijgt daarmee onbeperkt toegang tot de activiteiten die we organiseren. Denk aan: trainingen, workshops, studiedagen, conferenties, themabijeenkomsten, co-creatie sessies, durftevragen-middagen, netwerk-bijeenkomsten en nog veel meer.
Je lidmaatschap kun je bijvoorbeeld betalen uit het scholingsbudget dat je school voor jou beschikbaar heeft.

Op maat
Je initieert zelf een activiteit omdat jij daar behoefte aan hebt. Kom met je plan, mobiliseer medestanders (bijvoorbeeld via het Prikbord) en maak het mogelijk!

Netwerk
Je wordt deelnemer van een open, flexibel netwerk van professionals. Kennisdeling en uitwisseling kenmerken dit netwerk. Jouw vraag hoeft nooit lang op een antwoord te wachten.

Ontwikkeling
Je maakt jouw eigen ontwikkeling zichtbaar. Laat zien wie je bent en wat je expertise is. Maak jezelf zichtbaar, in je school en binnen het netwerk van The Crowd.

Volgers

Misschien heb je wat meer tijd nodig om te bepalen of je deelnemer wilt worden van The Crowd. Daarom is het ook mogelijk om The Crowd te volgen.

Volgers:
- Worden via de website op de hoogte gehouden van activiteiten van The Crowd
- Ontvangen de nieuwsbrief
- Kunnen deelnemen aan kennismakingsactiviteiten (bijvoorbeeld Eventstorms)

Lees meer over The Crowd

_____________________________

Bronnen

Csikszentmihalyi, M. (1996), Creativity: Flow and the Psychology of Discovery and Invention, HarperCollins, New York.

Lucas, B., G. Claxton en E. Spencer (2013), Progression in Student Creativity in School: First Steps Towards New Forms of Formative Assessments, OECD Education Working Papers, No. 86, OECD Publishing. http://dx.doi.org/10.1787/5k4dp59msdwk-en
pdf

Sir Ken Robinson, 2001. Out of Our Minds: Learning to Be Creative. Capstone. ISBN 1907312471[6]

Sir Ken Robinson, 2006. Why schools kill creativity – The case for an education system that nurtures creativity: TED Conference talk, Monterey, California. http://www.ted.com/index.php/talks/view/id/66

Zo word je geen excellente leraar!

By
15/04/2013
onderzoek
6 reacties

Door Paul Kirschner

Met uiterste verbazing las ik een bijdrage van Rinke Verkerk in VK Banen Special Werken in het Onderwijs van 13 april jl. met de titel “Zo word je een excellente leraar”. Hierin geeft zij vijf tips voor leraren “op jacht naar de prestatiebonus”.

Lezend, vroeg ik mij steeds af hoe zij aan die vijf tips kwam? Uit welke onderzoek(en) heeft zij die geplukt of gedestilleerd? Wil je – volgens Verkerk – een topleraar worden moet je aan je imago werken c.q. moet je jezelf verkopen, moet je een eigen stijl ontwikkelen die zij “duidelijkheid” noemt, moet je weten “hoe digitaal wil en kan ik lesgeven?”, moet je excellente kinderen scouten door o.a. talentshows te houden en als je een hekel hebt aan leerlingen (ik verzin het echt niet; een excellente leraar die een hekel heeft aan leerlingen) moet je aan commissies deelnemen, moet je schoolreisjes plannen en/of moet je meehelpen met de administratie. Doe je deze vijf dingen, dan word je excellent en kom je – volgens haar – in aanmerking voor een prestatiebonus. Ik heb het artikel een aantal keer gelezen en heb gezocht naar een zin of zinsnede die mij gerust zou stellen dat het stuk ironisch of sarcastisch bedoeld was of dat de originele datum van het stuk 1 april was. Maar helaas vond ik geen teken van ironie en het was echt geen 1 april grap.

En wat is nou de werkelijkheid? Wat maakt een gewone leraar excellent? John Hattie, onderwijsonderzoeker par excellence en directeur van de Melbourne Education Research Institute in Australië publiceerde onlangs een boek (Visible Learning) waarin hij 816 meta-analyses van onderzoek naar leren en wat leren beïnvloedt analyseerde; in totaal 62.169 studies met meer dan 83 miljoen deelnemers! Met andere woorden hij voerde een meta-meta-analyse uit die 15 jaar heeft gekost. Zijn conclusie over wat de grootste positieve invloed heeft op het leren van leerlingen kan – kort door de bocht genomen – opgesomd worden in drie woorden: de goede leraar. Deze positieve invloed bereiken leraren door invloedrijk / gezaghebbend op te treden, en door zorgzaam en actief betrokken te zijn bij zowel hun eigen wijze van doceren als het leren van hun leerlingen. Excellente leraren hebben ook een zeer gedegen en diepe domeinkennis om betekenisvolle terugkoppeling te kunnen geven over wat ieder leerling in de klas denkt en weet. Hattie concludeert dat “het onweerlegbaar is dat wat leraren weten, doen en waar zij zich voor interesseren” bepalen of er door hun leerlingen goed geleerd wordt.

En hoe zit het met die leerkracht? Wat onderscheidt een ervaren leraar van een excellente leraar? In 2003 onderzocht hij precies deze vraag. Over de 16 door hem geïdentificeerde “prototypische eigenschappen van docentexpertise”, scoren expertleerkrachten hoger op alle 16. Het voert te ver hier om alle 16 te bespreken, maar de grootste verschillen tussen expert en ervaren leraren zijn te vinden bij de volgende drie eigenschappen:

  • Challenge (Uitdaging): Expert leraren verstrekken uitdagende taken en leerdoelen aan hun leerlingen die ook goed bij de verschillende leerlingen passen. Zij kunnen dit doen omdat zij – zie hierboven – een zeer gedegen en diepe domeinkennis hebben en dus weten wat de leerlingen denken en weten.
  • Deep representation (Diep begrip): Expert leraren hebben diepe en uitgebreide representaties van zowel wat doceren is als wat leren is. Hun kennis is ook beter georganiseerd, zij kunnen verbanden beter (uit)leggen tussen leerinhouden en voorkennis, kunnen lesinhouden goed koppelen aan andere onderwerpen in het curriculum binnen en buiten hun eigen vakgebied, enzovoorts.
  • Monitoring and feedback (Volgen en terugkoppelen): Expert leraren kunnen de problemen van leerlingen effectief monitoren, zijn in staat het niveau van begrip en vooruitgang van hun leerlingen nauwkeurig te bepalen en geven meer en meer-relevante en bruikbare terugkoppeling.

Volgens Hattie, kunnen op basis van alle 16 attributen 84% van alle leraren correct worden geïdentificeerd als expert in tegenstelling tot alleen ervaren, maar met alleen de genoemde drie kunnen 80% van de excellente leraren geïdentificeerd worden. Met andere woorden deze drie scheiden het kaf van het koren.

En hoe word je in werkelijkheid een excellente leraar? Simpel. Door aan de 16 eigenschappen te werken, uitgaande van een diepe en gedegen domeinkennis en een liefde voor jouw vak en jouw leerlingen, maar vooral door te werken aan de top 3 word je een topper.

Zo word je een excellente leraar!

Ideeën voor onderwijsonderzoek

By
11/04/2013
onderwijs, onderzoek
6 reacties

Op verzoek van het Nationaal regieorgaan Onderwijsonderzoek plaats ik deze oproep aan docenten en onderzoekers.

Dick van der Wateren

Oproep tot het aandragen van ideeën voor onderwijsonderzoek

NRO-logoIn de zomer van 2012 heeft het ministerie van OCW besloten tot de oprichting van het Nationaal Regieorgaan Onderwijsonderzoek (NRO). Het NRO is ingesteld om de afstand tussen wetenschappelijk onderzoek en de praktijk van het onderwijs te verkleinen. Vanaf 2014 zal het NRO onderzoek naar onderwijs laten uitvoeren. Dit zal deels gebeuren door onderzoeksteams waarin scholen en wetenschappers samenwerken.

Voor de invulling van het onderzoek is het van belang de juiste thema’s vast te stellen. Essentieel criterium is dat de thema’s relevantie hebben voor de onderwijspraktijk: de onderzoeksresultaten moeten bijdragen aan de verbetering en vernieuwing van het onderwijs.

Het NRO hoort graag van onderzoekers en van professionals uit de onderwijspraktijk en het onderwijsbeleid welke thema’s volgens hen de komende jaren op de agenda moeten staan. U kunt uw ideeën aan de hand van onderstaande vragen tot 15 mei 2013 opsturen naar info@nro.nl.

  1. Beschrijf het thema en het (theoretische, beleidsmatige en/of onderwijspraktijkgerichte) kader waarin dit beschouwd moet worden.
  2. Beschrijf de relevantie van het thema: waarom moet de komende jaren juist naar dit thema onderzoek gedaan worden en voor welke onderwijssector(en) is het (vooral) relevant.
  3. Beschrijf welke partijen (uit onderzoek, praktijk en/of beleid) bij het onderzoek betrokken moeten worden.

Het NRO streeft ernaar alle binnengekomen ideeën deze zomer te inventariseren. Via de website http://www.nro.nl en met een emailbericht aan alle inzenders maakt de Stuurgroep van het NRO na de zomer bekend welke thema’s gekozen zijn voor een eerste onderzoeksprogramma. Naar verwachting kunnen in het najaar bij het NRO subsidieaanvragen worden ingediend voor dit onderzoeksprogramma.

Missie

Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) coördineert de programmering en financiering van onderzoek naar onderwijs.
Het bevordert de wisselwerking tussen onderzoek, praktijk en beleid en de toepassing van onderzoeksresultaten.
Zo draagt het NRO bij aan het verbeteren en vernieuwen van het onderwijs.

www.nro.nl

Vragen over deze oproep kunt u sturen naar: info@nro.nl

Top en Flop Leerstrategieën

By
05/04/2013
onderzoek
7 reacties

Door Paul Kirschner

Tik ‘leerstrategie’ in op Google en binnen 0,36 seconden heb je 107.000 treffers, bij ‘learning strategies’ zijn dat er maar liefst 3.520.000 in 0,42 seconden. Al 125 jaar bestuderen wij hoe mensen leren en hoe ons geheugen functioneert. Dat leverde veel ‘leermethoden’ op. Een paar zijn gebleven, velen zijn een zachte dood gestorven. En er zijn ook leerstrategieën die, al zijn ze lang geleden fout bevonden, toch overal in gebruik zijn. Een voorbeeld is het memoriseren (letterlijk uit je hoofd leren) van teksten. Het zou ons geheugen verbeteren: zo zouden we ook andere dingen beter onthouden. Alsof onze hersenen spieren zijn die getraind kunnen worden. En dat klopt dus helemaal niet, zo bewees William James – een van de grondleggers van de onderwijspsychologie – al in 1890. E.L. Thorndike kwam in 1901 tot dezelfde conclusie. Maar mooi dat sindsdien nog hele volksstammen teksten uit het hoofd hebben moeten leren en misschien nog steeds wel moeten.

Wat werkt dan wel? Dat antwoord vinden we in twee recente artikelen uit de gerenommeerde vakbladen Journal of Applied Research in Memory and Cognition en Psychological Science in the Public Interest. Hierin worden tien strategieën die redelijk goedkoop (in tijd en geld) zijn en bruikbaar in verschillende situaties, onder de loep genomen. Van deze tien bleken er vijf (redelijk) effectief en vijf niet.

De vijf strategieën die wel werken zijn (in volgorde van bewezen effectiviteit en efficiëntie):

1. Gedistribueerd oefenen: Verspreid het studeren over een langere periode in plaats van langdurig aaneen te blokken voor een tentamen. Het is zelfs zo dat langere pauzes (bijvoorbeeld een of meer dagen) tussen het oefenen beter zijn dan kortere. Door ‘vrijaf’ te nemen tussen de leersessies herinnert de leerling de voorgaande leersessie beter: het geheugenspoor wordt versterkt.

2. Oefentoetsen: Laat leerlingen oefenen met het terughalen van wat zij moeten leren. Zo houden zij die informatie beter paraat waardoor zij niet alleen beter in staat zijn om die informatie weer op te halen wanneer die nodig/gevraagd is, maar ook om die informatie te gebruiken/toe te passen in andere, vergelijkbare situaties (betere transfer).

3. Overlappend oefenen: Laat het bestuderen van en/of oefenen met een onderwerp overlappen met het bestuderen van/ oefenen met andere onderwerpen. Denk hier aan het leren berekenen van de inhoud van verschillende objecten zoals een kubus, een piramide, een cilinder en een bol. Bij overlappend oefenen leg je niet eerst de formule voor deze vier vormen afzonderlijk uit en ga je daarna oefenen, maar leg je de formules van alle vier uit, gevolgd door afwisselend oefenen. In Ten Steps to Complex Learning, het boek dat ik samen met Jeroen van Merriënboer schreef, noemen we dat oefenvariatie (variability of practice) en leggen precies uit hoe en waarom dit werkt.

4. Uitweidend bevragen: Daag een leerling (of jezelf) steeds uit om, bijvoorbeeld, aan te geven waarom iets dat hij leert het geval is. Deze strategie blijkt te werken omdat het de integratie van nieuwe informatie in bestaande schema’s – voorkennis – in het geheugen vergemakkelijkt (Piaget noemde dit assimilatie).

5. Zelf uitleg geven: Laat een leerling zichzelf bevragen en laat hem een proces of procedure aan zichzelf uitleggen. De vraag kan algemeen zijn – ‘Wat heeft wat je net las te maken met wat je al weet?’ – of inhoudsspecifiek ‘Waarom is de teller 4 en de noemer 9 in deze stap van de oplossing?’ Deze strategie lijkt op de vorige en de beredenering van de effecten is ook vergelijkbaar.

Vijf strategieën kwamen als slechtste uit de bus. Voor de eerste drie is geen enkel bewijs dat ze effectief dan wel efficiënt zouden zijn:

1. Verbeelden: Hierbij vraag je de leerling in zijn/haar hoofd te verbeelden wat er gelezen en/of geleerd moet worden. We kunnen spreken van een grensgeval. Het blijkt namelijk wel goed te kunnen werken, maar alleen met verbeeldingsvriendelijke (dus vaak concrete) leerstof. Bovendien werkt het wel voor het je kunnen herinneren, maar niet voor het kunnen toepassen van het geleerde.

2. Ezelsbruggen: Deze strategie wordt vaak gebruikt om de betekenis of vertaling van woorden of de terminologie van een vakgebied te leren: de lerende bedenkt een ‘sleutel’ in het ene woord en verbindt die aan het andere woord. Denk aan het moeten leren van de namen van verschillende tanden en kiezen in het Engels. Het woord dat geleerd moet worden is ‘molar’. De leerling moet denken aan / verbeelden van het ‘malen’ van iets (de functie van een molar), dit lijkt op molar en voilà, het wordt geleerd. Helaas lijkt (hoezo hier ‘lijkt’?)deze tijdrovende strategie niet echt effectief en zeker niet efficiënt.

3. Samenvatten: Hierbij wordt de leerling gevraagd om een tekst in het kort weer te geven, bijvoorbeeld de hoofdpunten of hoofdthema’s in een tekst op te schrijven. Hoewel het leren samenvatten een doel op zich kan zijn, blijkt er weinig bewijs te zijn dat het tot beter leren en toepassen van de leerstof leidt. Het werkt wel wanneer de lerende zeer vaardig is in het samenvatten (wat meestal niet het geval is bij kinderen).

En nu – houd u vast – de twee leerstrategieën die gewoon niet effectief zijn:

4. Highlighten en onderstrepen: Elke leraar kent teksten waarin de leerling van alles en nog wat heeft onderstreept tot en met bladzijden waarbij een regenboog aan kleurenhighlighters gebruikt is. Deze strategie doet weinig tot niets om leerprestaties te verhogen.

5. Herlezen: Dit is misschien wel de meest toegepaste en ook aanbevolen strategie om een tekst beter te leren en te begrijpen. Maar herlezen heeft bijna alleen een positief effect op het memoriseren van wat er in een tekst staat, maar niet op het begrijpen, laat staan op het toepassen daarvan.

Roediger en Pyc (2012) nemen in hun artikel ‘Inexpensive techniques to improve education’ deze top 5 en bespreken hoe de technieken gebaseerd op het cognitiefpsychologische onderzoek daarbij toegepast kunnen worden om het onderwijs te verbeteren. Hun artikel wordt gevolgd door commentaren van vijf vooraanstaande wetenschappers die zowel ondersteuning als enige voetangels en klemmen aan het licht brengen.

Wat als een paal boven water blijft staan, is dat goed onderzoek naar hoe men leert veel kan bijdragen aan het verbeteren van het onderwijs, van groep 1 tot en met de masteropleiding.

Ach, wat kan wetenschap leuk zijn!

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, N. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4 58.

Roediger, H. L. III, & Pyc, M. A. (2012). Inexpensive techniques to improve education: Applying Cognitive Psychology to enhance educational practice. Journal of Applied Research in Memory and Cognition, 1, 242-248.

Van Merriënboer, J. J. G., & Kirschner, P. A. (2012). Ten steps to complex learning (Second edition). New York: Taylor & Francis.

Volg mij op Twitter @P_A_Kirschner

Een iets andere versie hiervan kan gevonden worden in Didactief (April 2013)

Myth busters De Bruyckere en Hulshof op de goede weg

By
27/03/2013
onderzoek
8 reacties

Door Paul Kirschner

Recensie van het boek Jongens zijn slimmer dan meisjes en andere mythes over leren en onderwijs, Pedro de Bruyckere en Casper Huslhof, LanooCampus / Van Duren Psychologie, 2013. ISBN 978 90 815 1637 2

Vol verwachtingen klopte mijn hart toen ik in december las dat Pedro de Bruyckere en Casper Hulshof het boek “Jongens zijn slimmer dan meisjes en andere mythes over leren en onderwijs” hadden geschreven maar helaas moest ik nog een paar maanden wachten voordat het op de markt kwam. Nu ik uiteindelijk het boek in handen heb en heb kunnen lezen constateer ik dat het boek het wachten meer dan waard was. Pedro en Casper bespreken 36 gangbare c.q. hardnekkige onderwijsmythes (ik zou de meeste broodje-aap verhalen noemen) verdeeld over vier categorieën, te weten: Mythes over leren, Neuromythes, Mythes over technologie in het onderwijs, en Mythes in onderwijsbeleid. In die verschillende categorieën bespreken zij zeer uiteenlopende mythes zoal de mythe van leerstijlen als basis voor passend onderwijs, Brain Gym als algemene manier om je hersenen te oefenen, dat digitale autochtonen bestaan en over bijzondere gaven beschikken, de effecten van kleinere klassen op het leren en het onderwijs enzovoorts. Zij bespreken alle 36 op een zeer nuchter en evenwichtige wijze, ondersteund door wetenschappelijke bewijsmaterialen (zoals het hoort).

Om dit ook allemaal begrijpelijker en bruikbaarder te maken, maken zij gebruik van een legenda van drie tekens. Het eerste teken is “: – \” wat betekent dat de bewering helemaal niet klopt en dat er hier sprake is van een echte mythe. De tweede is “; – |” wat betekent dat de bewering nog ter discussie staat; dat de wetenschap geen uitspraak mag doen omdat er geen voldoende bewijs is of de onderzoekingen elkaar misschien tegenspreken. De derde is “: – ?” wat betekent dat de bewering onbewezen is; er is geen wetenschappelijk bewijs gevonden voor de bewering (in mijn woorden: prietpraat / borrelpraatjes). Aan het einde van ieder deel vatten zij de zaak samen met wat wij wel of niet weten over het onderwerp van het deel, bijvoorbeeld “Helpt correcte kennis over de hersenen?”. Met andere woorden een heldere uiteenzetting in begrijpelijke taal, genuanceerd waar nodig maar ook resoluut waar nodig en dus een geweldig handvat voor docenten, onderwijsbeleidsmakers en politici.

Maar iedereen die mij kent weet dat ik ook zeer kritisch ben en zelfs ten aanzien van dit voortreffelijke boek heb ik drie kritische opmerkingen. De eerste twee kunnen wellicht handig zijn voor een tweede druk c.q. voor een vervolgboek; de derde is een veel moeilijker probleem waar de auteurs geen schuld aan hebben!

Mijn eerste opmerking gaat over de indeling. Hoewel de indeling in vier inhoudelijke delen begrijpelijk is, denk ik dat een andere indeling een betere leidraad voor docenten, beleidsmakers en politici had kunnen zijn, namelijk: (1) Welke beweringen zijn pertinente onzin?, (2) Welke beweringen staan nog ter discussie? en (3) Welke beweringen zijn op dit moment losse beweringen / borrelpraatjes? Zo weten wij wat afgevoerd moet worden, wat nog ter discussie staat en wat alleen losse prietpraat is.

Mijn tweede opmerking heeft te maken met het generalisatieniveau van de besprekingen. Het kan het geval zijn dat een bewering een mythe is bij jonge kinderen maar geldigheidswaarde heeft bij adolescenten, dat iets onzin is bij novieten maar interessant kan zijn voor experts. Pedro en Casper: Misschien de basis voor een vervolgboek? Ik hoop het wel!

Tot slot, mijn moeilijk op te lossen probleem. De auteurs geven aan het einde van het boek een aantal aanbevelingen voor de lezer onder de noemer “Hoe kan ik vermijden dat ik mythes geloof en doorgeef”. Zij beginnen met een setje vuistregels dat meestal kan worden toegepast. Het gaat hier om vuistregels als “Geeft de auteur aan wat haar/zijn standpunt is?” of “Citeert de auteur onderzoek?”. Het probleem is dat om dit te doen je ook het tweede setje vuistregels moet kunnen uitvoeren zoals bepalen of de gebruikte analyse methodes de juiste waren, bepalen of de steekproef groot genoeg was, enzovoorts. Dit vraagt kennis die – om het voorzichtig uit te drukken – de meeste docenten, beleidmakers en politici helaas niet hebben. Gevolg: de invoering van onzin in het onderwijs.

En dat kan nu een uitstekende uitdaging / taak zijn van dit blogcollectief. De ‘gewone’ leerkracht helpen in contact te komen met onderwijsonderzoekers (die hopelijk van onderzoeksmethodologie de nodige kaas hebben gegeten). Dit kan een win-win situatie worden waarbij enerzijds de docent informeel wordt bijgeschoold, terwijl anderzijds de onderzoeker kan leren van de ervaringen van de docent.

Wat denken jullie?

Houston, we have a problem

By
22/03/2013
onderzoek
5 reacties

Door Paul Kirschner

Soms wordt een overtuiging opgeblazen tot een pseudowetenschap, door Shermer (1997, p. 33) gedefinieerd als ‘beweringen die zodanig worden gepresenteerd dat zij wetenschappelijk lijken, hoewel zij ondersteunend bewijs en plausibiliteit ontberen’. Aanhangers van pseudowetenschappen zijn vaak te vinden bij gezondheid/geneeskunde (gebedsgenezing, aura-analyse) en de natuurwetenschappen (astrologie, koude kernfusie), maar ook in de sociale wetenschappen (schedelkunde, verdrongen herinneringen).

De onderwijskunde lijkt samen met het onderwijs als geheel ook te lijden aan deze aandoening. Een van de best gedocumenteerde voorbeelden is de leerpiramide. Aanhangers van de leerpiramide beweren dat mensen 5% onthouden van wat zij horen, bijvoorbeeld in een college, 10% van wat ze lezen, 30% van wat zij zien, bijvoorbeeld als iemand iets voordoet, 75% van wat zij zelf doen en 90% van wat zij aan anderen leren (waarbij soms de percentages en de namen van de categorieën variëren). Deze uitspraak wordt wereldwijd en zijd aangehaald, waarbij doorgaans het National Training Laboratories in de VS wordt aangeduid als bron. Er zijn, volgens hen, echter geen onderzoeksgegevens beschikbaar die deze bewering onderbouwen en die zijn er waarschijnlijk ook nooit geweest (zie Lalley & Miller, 2007 of Taylor, 2008 voor een bespreking van de leerpiramide als mythe). In Nederland zijn er vele gevallen te vinden van hogescholen, universiteiten, en zelfs lerarenopleidingen die deze onzin propageren voor en implementeren in hun onderwijs en die onzin ook doorgeven aan hum studenten; d.w.z. onze toekomstige leerkrachten en onderwijskundigen.

We hebben in het onderwijs, dus, te maken met een zeer populaire en hardnekkige pseudowetenschappelijke bewering en dat brengt zowel de kwaliteit van ons onderwijs als de geloofwaardigheid van de onderwijskunde in gevaar. Hiermee lopen wij het risico terecht te komen in een neerwaartse spiraal: door de populariteit van zulke smythes / urban legends / broodje-aap-verhalen – ook onder onderwijskundigen lijkt de onderwijskunde een betekenisloze hocus-pocuswetenschap en dat maakt het vervolgens steeds moeilijker om waardevolle vernieuwingen te realiseren in het onderwijs.

Hoe kunnen we deze neerwaartse spiraal vermijden? Heel simpel: De onderwijskunde moet worden voortgestuwd door theorieën en theorievorming gebaseerd op empirische data in plaats van door mythes, hypes en methodologisch gebrekkig onderzoek. Er is een kwantumsprong nodig om de stap te maken van mythe-gebaseerd onderwijs dat steunt op pseudowetenschap naar bewijs-geïnformeerd onderwijs dat steunt op wetenschap. Maar dit vergt meer dan alleen een vluchtige aanpassing van de gebruikte onderzoeksmethodologie of een keuze voor andere onderzoeksonderwerpen. Het vereist een fundamentele verandering in de wetenschappelijke houding en dit zal niet gemakkelijk zijn. Zo spreken Bennett, Maton en Kervin (2008) in een review van literatuur over digitale autochtonen over een academische vorm van morele paniek. Volgens Cohen (1973) treedt morele paniek op wanneer er een ‘toestand, belangrijk voorval, persoon of groep van personen naar voren treedt die wordt gezien als een bedreiging voor de maatschappelijke waarden en belangen’ (p. 9). In hun artikel beschrijven Bennett, Maton en Kervin waarom zulke mythes, als gevolg van deze acedemisch morele paniek in/voor het onderwijs zo gemakkelijk gehoor vinden en waarom ze zo moeilijk zijn uit te bannen. In de kern draait het om het volgende:

De argumenten zijn vaak verwoord in dramatische taal, zij verkondigen een vergaande verandering in de wereld en benadrukken grote verschillen tussen generaties. (…) In combinatie met een beroep op het gezond verstand en herkenbare anekdotes worden zulke beweringen gebruikt om een noodtoestand uit te roepen en op te roepen tot urgente en fundamentele veranderingen.

Wat deze ‘academische morele paniek’ ook typeert, is de structuur van een reeks strak gedefinieerde grenzen: tussen een nieuwe generatie en alle voorgaande generaties, tussen degenen die op technologisch vlak handig zijn en degenen die dit niet zijn, en tussen lerenden en docenten. (…) Zo zorgen de taal van de morele paniek en de strikte grenzen die commentatoren hanteren ervoor dat het debat wordt lam gelegd, waardoor onbewezen beweringen zich ongehinderd blijven verspreiden (pp. 782-783).

McRobbie en Thornton (1995) concluderen in hun onderzoek naar het voortbestaan van morele paniek (1) dat het onderwerp van de paniek (in dit geval de problemen in het onderwijs) veel publiciteit krijgt, want de verwachte negatieve gevolgen maken het onderwerp nieuwswaardig en (2) dat het in plaats van iedereen af te stoten juist aantrekkelijk wordt voor mensen die zichzelf zien als progressief en avant-garde. Noymer (2001) vond in zijn onderzoek naar de overdracht en het voortbestaan van urban legends bevestiging voor een niet-liniair model van verspreiding: (…) de snelste weg naar endemie (persistentie) doet zich voor wanneer sceptici een actieve rol spelen en een gerucht proberen te ontkrachten, een proces dat ik ‘autokatalyse’ noem. Dit druist in tegen onze intuïtie, aangezien autokatalyse van scepsis de geruchten zou moeten onderdrukken. (…) Wanneer sceptici echter proberen te voorkomen dat een gerucht zich verder verspreidt, verandert de dynamiek van epidemische cycli naar endemische overdracht; de interventies van sceptici hebben een effect dat tegengesteld is aan hun bedoelingen (pp. 320-321). Met andere woorden: de overtuigingen die iemand koestert blijven intact bij een confrontatie met gegevens die deze overtuigingen ontkrachten of zelfs tegenspreken (Anderson & Kellam, 1992).

Houston, we have a problem!

Noot: Deze blog is deel van een artikel van mij en Jeroen van Merriënboer in Onderwijsinnovatie, maart 2013, 26-28. http://www.ou.nl/documents/10815/1599185/2013_OI_1.pdf

Literatuur

Anderson, C. A., & Kellam, K. L. (1992). Belief perseverance, biased assimilation, and covariation detection: The effects of hypothetical social theories and new data. Personality and Social Psychology Bulletin, 18, 555-565.

Bennett, S., Maton, K. & Kervin, L. (2008), The ‘digital natives’ debate: A critical review of the evidence. British Journal of Educational Technology, 39, 775–786.

Cohen, S. (1973). Folk devils and moral panics. St Albans, UK: Paladin.

Lalley, J. P., & Miller, R. H. (2007): The learning pyramid: Does it point teachers in the right direction? Education, 128(1), 64-80.

McRobbie, A., & Thornton, S. L. (1995). Rethinking ‘moral panic’ for multi-mediated social worlds. The British Journal of Sociology, 46, 559-574.

Noymer, A. (2001). The transmission and persistence of ‘urban legends’: Sociological application of age-structured epidemic models. The Journal of Mathematical Sociology, 25, 299-323.

Shermer, M. (1997). Why people believe weird things: Pseudoscience, superstition, and other confusions of our time. New York: W. H. Freeman and Company.

Taylor, D. 2008). Modern myths of learning: You only remember 10% of what you read. Training Zone. Geraadpleegd op 15 februari 2009, via http://www.trainingzone.co.uk/item/185067.

Leren schrijven met de hand is essentieel. De kracht van ‘embodied cognition’

By
11/03/2013
evidence-based, onderwijs, onderzoek, psychologie
1 reactie

door Casper Hulshof

Dit is een bewerkte versie van mijn bijdrage aan de Onderwijskunde in Utrecht blog.

Al is het ook in de uitgeverswereld crisis, er is gelukkig nog ruimte om zo nu en dan een nieuw wetenschappelijk tijdschrift te starten. Een voor het onderwijs mogelijk interessant nieuw tijdschrift heeft als titel Trends in Neuroscience in Education. Het gaat over nieuwe ontwikkelingen met betrekking tot het toepassen van kennis uit de neurowetenschappen in het onderwijs. De trotse hoofdredacteur Manfred Spitzer verdedigt in de inleiding van het eerste nummer zijn stelling ‘To understand learning is to understand the brain’. Hij geeft toe dat neurowetenschap eigenlijk nog maar aan het begin staat. Maar net zoals gebrek aan kennis de gebroeders Wright er niet van weerhield om te proberen een provisorisch vliegtuig te bouwen, zo moeten ook onderwijsonderzoekers vooral pogingen doen de grenzen van de kennis op te zoeken. Hij waarschuwt voor te grote stappen in één keer (een kwaliteit waar met name beleidsmakers in uitblinken) maar betreurt het dat er vaak wat lacherig over het vertalen van fundamenteel onderzoek naar concrete toepassingen wordt gedaan. Dit tijdschrift is met een stevige ambitie opgezet.

De thema’s van de artikelen in het eerste nummer zijn vrij traditionele onderwijsonderwerpen: dyslexie, studiemotivatie, getallenkennis… maar de insteek is wel anders dan normaal. Dat komt duidelijk naar voren in een van de eerste artikelen, dat gaat over ‘embodied cognition’. De titel is “Embodiment theory and education: The foundations of cognition in perception and action”. Auteurs Markus Kiefer en Natalie Trummp zijn verbonden aan de Universiteit van Ulm in Duitsland. ‘Embodiment’ is het idee dat je denken niet los kunt zien van het lichaam waarin dat denken plaatsvindt. Dat is anders dan de ‘standaard’-psychologie, waarin geest en lichaam zorgvuldig van elkaar gescheiden zijn. Een korte uitleg.

Misschien ken je het ‘brain in a vat’-gedachte-experiment wel (in het Nederlands ‘Hersenen in een vat‘). Het is de gedachte dat je de hersenen los in een vat zou kunnen bewaren. Alle sensaties worden gesimuleerd. Het filosofische aspect zit hierin dat niemand van ons zeker weet dat hij geen stel hersenen in een vat is. Heel Descartiaans, allemaal. De cognitieve psychologie vormt in zekere zin een meer conceptuele variant van dit experiment: ons denken (cognitie) staat los van het medium waarin die cognitie plaatsvindt. De geest als software van het brein (de hardware) als het ware.

Wij zijn ons brein, zegt Dick Swaab. Maar wij zijn niet alleen ons brein, wij zijn ons lichaam. Sommigen zeggen: je moet met het lichaam, en met name de zintuigen, rekening houden als je iets over de werking van onze hersenen wil weten. Dat zijn de aanhangers van ‘embodied cognition’. Zij zeggen: onze zintuigen maar ook onze ledematen bepalen voor een deel onze cognitie, die daarmee dus ‘embodied’ is.

Raar idee? Ja en nee. Als je ‘s nachts wakker wordt weet je zonder te bewegen waarschijnlijk feilloos waar je armen zich bevinden (probeer het eens!). Dat vermogen wordt proprioperceptie genoemd. Proprioperceptie is wat dat betreft een zesde zintuig. Daarnaast blijkt onze lichaamshouding invloed te hebben op onze mentale ‘getallenlijn’. Consequentie: mensen die naar links leunen schatten de hoogte van de Eiffeltoren lager in dan mensen die naar rechts leunen. Dat onderzoek werd overigens bekroond met een Ignobel-prijs – voor onderzoek waar je om moet lachen, maar dat ook aan het denken zet.

Wat heeft het onderwijs aan kennis over embodied cognition? Het artikel van Kiefer en Trumpp gaat daar over. De auteurs gaan in op verschillende vormen van ‘embodiment’: bij lezen en schrijven, bij geheugen voor gebeurtenissen, en bij conceptueel geheugen van objecten en getallen. Met name wat zij zeggen over lezen en schrijven is interessant voor het talenonderwijs. De auteurs tonen aan dat leren schrijven met de hand een beter geheugen voor de vorm van letters oplevert dan typen. Dat wordt verder ondersteund door gegevens uit ander artikel in hetzelfde tijdschrift (van James en Engelhardt).

Nu weet ik dat schrijven met de hand als activiteit op scholen langzamerhand naar de achtergrond verdwijnt. Heel normaal, volgens sommige juffen (getuige dit journaalitem van 2 februari jl.), maar eigenlijk niet zo handig, dus. Met de hand leren schrijven levert meer letter- en tekstbegrip op dan typen.

De andere onderwerpen in het artikel zijn ook interessant, maar meer zijdelings gerelateerd aan onderwijs. Het blijkt bijvoorbeeld zo te zijn dat het lezen van een woord dat met geluid geassocieerd is (‘telefoon’) tijdens het lezen ervan die sensorische hersengebieden activeert die met het daadwerkelijk horen van een telefoon te maken hebben. Voor het lezen over acties geldt hetzelfde: die brengen activatie in de motorische hersenschors teweeg. Tenslotte laat onderzoek naar ons conceptuele geheugen voor getallen zien hoe belangrijk het leren tellen met de vingers is voor een beter begrip van cijfers: hoe je als kind omgaat met het tellen op je vingers blijkt invloed te hebben op je gevoel voor getallen als volwassene! Het zijn fascinerende inkijkjes in een vakgebied dat nog een lange weg te gaan heeft, maar nu al tot toepassingen in het onderwijs kan leiden.

Al met al is Trends in Neuroscience and Education veelbelovend van start gegaan. Ik zal dit tijdschrift in de gaten houden. Als het onderzoek relevant is voor de onderwijspraktijk, dan zal ik daar zeker over rapporteren.

Bronnen

James, K.H., & Engelhardt, L. (2013). The effects of handwriting experience on functional brain development in pre-literate children. Trends in Neuroscience and Education, 1, 32-42. http://dx.doi.org/10.1016/j.tine.2012.08.001

Kiefer, M., & Trummp, N.M. (2013). Embodiment theory and education: The foundations of cognition in perception and action. Trends in Neuroscience and Education, 1, 15-20. http://dx.doi.org/10.1016/j.tine.2012.07.002

Toetstechniek voor docenten (5): Gemiddelde, moeilijkheid en Discriminatie bepalen.

By
01/03/2013
determinatie, onderzoek, test
4 reacties

Door Paul Ket

Toetsen en docenten horen bij elkaar als Brussel en Manneke Pis. Niet zonder discussie, maar het is, hoe er ook tegenaan gekeken wordt, een essentieel onderdeel van het werk van een docent om een oordeel over het leren van een leerling uit te spreken. En wanneer je dat doet, al dan niet met tegenzin, is het zaak om dat volgens de regelen der kunst te doen. Over de voorbereiding van toetsen zijn bibliotheken volgeschreven, over het nawerk weinig. Deel vijf over een eerste statistische analyse van de toets.

Vooraf

Het is voor elke statistische analyse van belang dat de vragen en de punten, te verkrijgen en toegekend, in de computer terecht komen. Excel is hiervoor de eerste keuze. Hoewel de beschreven methodieken uit 1962 komen, ver voor de brede beschikbaarheid van de computer.

Gemiddelde

Elke docent rekent als eerste het gemiddelde van de behaalde cijfers uit. Dat kan ook met de toegekende punten. Voor de betekenis van de uitkomst maakt het niet uit, voor de vergelijkbaarheid wel. Omzetten naar schoolcijfers maakt gemiddeldes onderling vergelijkbaar. Het (rekenkundig) gemiddelde is een centrummaat, het geeft een samenvatting van de punten per leerling door het middelen. Andere centrummaten zoals de modus en de mediaan worden in het onderwijs nauwelijks gebruikt voor het rapporteren over behaalde punten.

Moeilijkheid

De moeilijkheid van een (deel-)opgave kan worden berekend door het percentage toegekende punten voor die opgave te bepalen (Ebel, 1972). Bij een incidentele afname van de toets geeft de moeilijkheid alleen informatie over hoe deze leerlingen deze opgave gemaakt hebben en als moeilijk of niet hebben ervaren. De oorzaak van het al dan niet moeilijk ervaren, dient verder onderzocht te worden.

Wanneer de moeilijkheid handmatig berekend wordt, kan, aldus Ebel, volstaan worden met het berekenen van het percentage toegekende punten van de onderste en bovenste 27% procent van de behaalde scores. Wanneer de behaalde punten per opgave in Excel staan, kunnen alle uitkomsten hierbij betrokken worden.

Ebel geeft geen norm voor wat een ideale moeilijkheid zou moeten zijn. De na te streven waarde hangt af van het doel van de betreffende opgave. Zo is in een proefwerk de eerste opgave meestal een relatief eenvoudige binnenkomer. Daar wil je dus een hoog percentage. De opgave bedoeld om de slimme leerlingen nog even uit te dagen, zou een laag percentage moeten hebben.

Bij meerkeuze-opgaven heet de moeilijkheid de p-waarde.

Voorbeeld:

Voor een open vraag kunnen 7 punten behaald worden. De (kleine) groep leerlingen die deze op gave maakt behalen: 3, 5, 2, 6, 5, 7, 3, 1, 6, 0, 6, en 5 punten. Bij elkaar 49 punten. Het gemiddelde is 4 punten. Het maximaal te behalen aantal punten is 12 x 7 = 84 punten. Dan zijn 58% van de punten toegekend.

Discriminatie-index (D)

Opgaven in een proefwerk hebben tot doel onderscheid te maken tussen leerlingen die de opgave wel en niet kunnen maken. Dit is cruciale informatie voor de docent. Het percentage punten dat de sterke leerlingen meer behalen dan de zwakke leerlingen, geeft het discriminerend vermogen van de opgave aan (Ebel, 1972). Ebel geeft het volgende stappenplan:

  1. Sorteer de leerlingen op de toetsscore van laag naar hoog.
  2. Selecteer de leerlingen met de 27% laagste scores en de 27% hoogste scores.
  3. Bepaal voor deze deelgroepen per opgave de som van aantal punten dat behaald is.
  4. Bepaal het verschil tussen de somscores.
  5. Deel het verschil door het aantal punten dat deze twee deelgroepen had kunnen behalen om de Discriminatie-index te verkrijgen.

Voorbeeld

Behaalde punten: 3, 5, 2, 6, 5, 7, 3, 1, 6, 0, 6, 5
Gesorteerd: 0, 1, 2, 3, 3, 5, 5, 5, 6, 6, 6, 7
Onderste 27%: 0, 1, 2. Som = 3.
Bovenste 27%: 6, 6, 7. Som = 19.
Verschil: 19 – 3 = 16.
Maximaal te behalen door 6 leerlingen: 6 x 7 = 42.
Discriminatie-index = 16 / 42 = 0,38.

Wanneer uitgegaan wordt van alle leerlingen, komt de Discriminatie-index lager uit. Voor de zoals hierboven berekende waarden voor D geeft Ebel de volgende indeling:

0,4 en hoger: Zeer goede items
0,3 t/m 0,39: Redelijk goede items, wellicht zijn verbeteringen mogelijk.
0,2 t/m 0,29: Marginale items, aanpassing hiervan is noodzakelijk.
Onder de 0,19: Slechte items, dienen verwijderd of verbeterd te worden.

D is, aldus Ebel, wel afhankelijk van de leerlingengroep. Alleen bij grote aantallen neemt de invloed van de groep af.

Gebruik

Hiervoor zijn drie maten besproken. De eerste, het gemiddelde, is een centrummaat voor de gehele toets. Alleen wanneer deze opvallend afwijkt van de 6, zal er verder gekeken worden naar of de leerlingen of de toets.

De twee andere maten geven informatie over de opgaven binnen de toets. De eerste, de moeilijkheid, geeft aan in hoeverre leerlingen in staat gebleken zijn om punten te behalen voor die opgave. Opgaven vervullen binnen een toets een verschillende rol, dus hoewel we voor gewone opgaven een moeilijkheid rond de 50% zouden willen hebben, zijn er zeker redenen te noemen om hier van af te wijken.

De tweede, de Discriminatie-index D, laat zien in hoeverre een opgave onderscheid maakt tussen sterke en zwakke leerlingen.

Deze drie getallen dienen weloverwogen en in samenhang bekeken te worden. Ook de marges die Ebel geeft voor de D, zijn indicatief aangezien toeval zeker invloed heeft op de D.

Bibliografie

Ebel, R. L. (1972). Essentials of Educational Measurement (2 ed.). Englewood Cliffs, NJ.: Prentice-Hall Inc.

Volg

Get every new post delivered to your Inbox.

Join 1.425 other followers

%d bloggers like this: