Deze blog is de vertaling en bewerking van een blog op mijn andere blogsite (3-star learning experiences) waar Mirjam Neelen eerste auteur is.

Wat ons beiden (onder andere) drijft, is onze behoefte om leerprofessionals (leerkrachten, onderwijsontwerpers, trainers, ofwel een ieder die zich bezighoudt met leren) inzicht te geven in evidence-informed manieren om zowel instructie als leerinterventies effectiever, efficiënter en meer bevredigend voor zowel de gevers als de ontvangers te maken. Wij hebben beide een passie hiervoor en we proberen de ‘boodschap’ dan ook zo veel mogelijk te verspreiden in de hoop ‘zieltjes te winnen’ 😊. Bijvoorbeeld, in de derde week van juni gaf Paul een keynote over ‘Urban Legends in Education’ bij het Festival of Education op Wellington College buiten London, Engeland en Mirjam verzorgde een presentatie over ‘Evidence-Informed Learning Design’ op de Learning Tech Day in Gent, België.

Hoewel het voor ons als vakidioten volstrekt duidelijk is wat het inhoudt om op een ‘evidence-informed’ manier te ontwerpen, werd het Mirjam tijdens haar presentatie duidelijk dat dit niet per se het geval is voor anderen. Ze realiseerde zich achteraf dat ze bij haar publiek had moeten nagaan wat de toehoorders onder evidence-informed verstonden en hoe zij de term definiëren. Iemand in de zaal vertelde, bijvoorbeeld, dat hij een ‘evidence-informed’ benadering toepast, omdat zij xAPI gebruiken om data te verzamelen en dat ze deze data gebruikt om beslissingen te nemen over het leerontwerp. Ook vertelde hij dat deze aanpak hen helpt om bepaalde (leer)factoren te voorspellen. Op zich is dit misschien een goed voorbeeld van ‘evidence-informed practice’ (de data leveren informatie (het bewijs) over hoe men in de praktijk met het ontwerp omgaat), maar het levert op geen enkele wijze evidence-informed wetenschappelijk bewijs voor wat de ontwerper doet en waarom. En die wetenschappelijke kant is waar wij ons op richten als we ‘evidence-informed’ zeggen. Het is wat ons betreft belangrijk dat we ons bewust zijn van verschillende vormen en maten van bewijs.

De volgende afbeelding laat hoe evidence-based practice in de klinische praktijk wordt gebruikt; namelijk door drie verschillende vormen van bewijs voor het medische handelen te gebruiken: bewijs geleverd door wetenschappelijk onderzoek, de normen en waarden van de patiënt en klinische expertise.

Wellicht is het een goed idee om eens expliciet uit te leggen wat we bedoelen met die wetenschappelijk kant van ‘evidence-informed’ werken en hoe je dan op die manier kunt werken. Vandaar deze blog.

What Is Evidence-Informed Learning Design?

Onze definitie van ‘evidence-informed learning design’ is: het gebruiken van empirisch-verkregen wetenschappelijk bewijs over hoe men het beste leert om op basis daarvan geïnformeerde beslissingen te nemen over een leerontwerp. Het gaat, dus, niet over ‘learner data’ die je kunt gebruiken om beslissingen te nemen over je ontwerp (bv. usability, paginabezoeken en –duur, bijdragen aan discussies enz.), hoewel ook dit een aanrader is, MITS je het goed doet natuurlijk! 😊. Welnu, het is je misschien opgevallen dat we de term evidence-informed gebruiken en niet evidence-based. Dat heeft een goede reden.

Evidence-based practice is een interdisciplinaire benadering binnen de klinische praktijk. Deze heeft zijn wortels in de medische wetenschap. Oorspronkelijk werd het gedefinieerd als ‘een kruk met drie poten’ omdat het drie basisprincipes integreert, te weten (1) het beste onderzoek (met de beste kwaliteitsbewijs) omtrent of en waarom een behandeling werkt, (2) klinische expertise om zo snel mogelijk de staat van gezondheid van de patiënt te identificeren, de diagnose te stellen en te beoordelen wat de risico’s en voordelen zijn van een potentiële interventie voor een individuele patiënt en (3) voorkeuren en normen en waarden van de patiënt (Wikipedia). In het algemeen gesproken, als er bijvoorbeeld een evidence-based beslissing wordt genomen met betrekking tot de inname en werking van een medicijn, dan betekent dat, dat het eerst getest en goedgekeurd is voor een specifiek gedefinieerde populatie. Dit kan bijvoorbeeld een volwassene zijn die binnen een bepaalde BMI valt met specifieke symptomen en pathologie. De instructie om een pil ‘s morgens op een lege maag in te nemen, geldt dan voor een breed spectrum van omstandigheden (thuis, in de auto, op het strand, het maakt niet uit waar), zolang de pil maar op een lege maag wordt ingenomen.

Evidence-informed betekent nog steeds ‘gebaseerd op empirisch-verkregen wetenschappelijk onderzoek’ (nogmaals, dat is de ‘poot’ waar wij ons hier op richten), maar binnen de ‘learning sciences’ – hetgeen een interdisciplinaire wetenschap is (zie de volgende afbeelding) –  is het moeilijker om die ‘omstandigheden’ duidelijk te definiëren en om ervoor te controleren. We hebben namelijk te maken met vele vage of wisselende omstandigheden die het effect van leerinterventies beïnvloeden.

Photo credit: Edu.tw

Letterlijk, wat vandaag in een klas werkt om negen uur ’s ochtends, werkt niet per se binnen een andere klas om drie uur ‘s middags. En als stoorzender Jantje afwezig is, dan leidt dat tot een compleet andere situatie dan wanneer die lastige Jantje er wel is. Daarom, als we als ontwerpers van leerinterventies het beschikbare wetenschappelijke bewijs gebruiken, moeten we er ons extra bewust van zijn dat wat in de ene context werkt, niet per definitie ook werkt in een andere context (les, vakgebied, leeftijd, schoolsoort, uur van de dag, enzovoorts).

Het is nuttig om te weten wat de niveaus van ‘wetenschappelijk onderzoek’ zijn. De tabel van Stephen Gorard geeft een goed overzicht van de niveaus van ‘ontwerpkwaliteit’ van onderzoek.

Een ‘zeef’ om betrouwbaarheid in te schatten (van Gorard, 2014)

Om de lezer te helpen heeft Gorard een ‘zeef’ gemaakt met zes categorieën (ontwerp, schaal, uitval, uitkomsten, nauwkeurigheid, geldigheid) om de betrouwbaarheid van een onderzoek goed in te schatten, elk met vijf niveaus van kwaliteit (van 0 sterren naar 4 sterren). De betrouwbaarheid van een onderzoek wordt bepaald door de laagste beoordeling in een kolom. In deze zeef wordt de betrouwbaarheid van een onderzoek is bepaald door de laagste beoordeling in een kolom. Duseen studie die eerlijk en grootschalig is met nauwelijks uitval en gestandaardiseerde uitkomsten maar waar de ingreep onduidelijk beschreven is of waar de behandeling ongelijk is (bijv. de groep die de ingreep kreeg studeerde tweemaal zo lang als de controlegroep) krijgt dan slechts twee sterren.

Hou dus goed je ogen open om te bepalen in welke categorie de bron valt die je gebruikt of overweegt te gebruiken.

Wat leuk is om te weten, is dat, op Mirjams conferentie de deelnemers open leken te staan voor en zelfs zin te hebben in het werken op een ‘evidence-informed’ manier. Echter, zin hebben is maar stap één want je moet vervolgens ook nog weten hoe. Bijvoorbeeld, iemand in het publiek zei “maar ik lees nooit wetenschappelijke artikelen” en een ander zei “hoe moet ik dat dan doen?” Dat zijn uitstekende vragen, dus daar gaan we wat dieper op in.

Hoe te beginnen met op een ‘evidence-informed’ manier te werken

Op de conferentie in Gent, hadden we de mazzel dat Dr. Pedro de Bruyckere zich een redder in nood toonde door uit te leggen hoe je ervoor kunt zorgen dat je jezelf niet voor de gek laat houden door ‘bronnen’. Hij gaf inzicht in de stappen die je kunt volgen om ‘bullshit’ te ontmaskeren (of om uit te vinden wat werkelijk waar is). De Bruyckere gebruikte de stappen die oorspronkelijk beschreven zijn door Dan Willingham, Deze stellen je in staat om beter geïnformeerde beslissingen te nemen en inzicht te krijgen in wat en wie je wanneer kunt geloven (De Bruyckere heeft het van origine Engelstalige boek van Willingham, getiteld “When You Can Trust the Experts”, vertaald naar Nederlands. Je kunt het hier vinden) Hier zijn de stappen:

Stap 1: Strip it and Flip it (Ontbloot het en Gooi het om)

Het eerste deel, ‘strip it’, betekent dat je kritisch naar het taalgebruik moet kijken, bijvoorbeeld zoals de taal van een stelling zoals die hieronder.

Is het taalgebruik vaag?

Ja. Wat betekent ‘onze hersenen veranderen’ (changing our brains)? Wat voor verandering? En wat betekent ‘online leven’ (living online)? Wij kennen in elk geval niemand die ‘online leeft’. Jij?

Is het taalgebruik emotioneel?

Nou, niet het taalgebruik op zich, maar mensen zouden wel eens sterke emoties kunnen hebben omdat het over stoornissen binnen het autistische spectrum gaat.

Klinkt het ‘gehypet’?

Het onderwerp is ‘populair’ omdat stoornissen binnen het autistische spectrum steeds vaker voorkomen, hoewel je daarbij wel moet bedenken dat de diagnostiek ook uitgebreid is (we zochten dit uit middels tracing, zie stap 3). Verder is het zo dat er veel discussie is omtrent de gevolgen van ‘de digitale wereld’ voor ons mensen, dus in die zin springt het citaat op de afbeelding zeker in op een hype.

Het tweede deel, ‘flip it’, betekent dat je het gebruikte argument moet omgooien. Bijvoorbeeld, stel dat het waar is dat ‘online leven’ ons brein op een zorgwekkende manier verandert (we durven te stellen dat niemand het idee van een toename van stoornissen binnen het autistische spectrum toejuicht), dan is het wellicht net zo waarschijnlijk dat deze veranderingen uitermate positief zouden kunnen zijn, bijvoorbeeld dat het aantal briljant innovatieve mensen ook zou stijgen.

De Bruyckere gaf nog een ander voorbeeld omtrent leerstijlen. Het idee van leerstijlen lijkt intuïtief en emotioneel aantrekkelijk te zijn voor mensen (waarom zou de mythe anders zo hardnekkig zijn?). Echter, als je het ‘flipt’ en vraagt: wat vind je van hokjesdenken (hetgeen immers is wat je doet als je denkt dat mensen binnen een bepaalde leerstijl vallen), dan klinkt het idee opeens veel minder aantrekkelijk.

Myers-Briggs is ook een goed voorbeeld van hokjesdenken

Willingham raadt ons allen aan om te werken met de volgende stelling:

“Als ik X doe, is er Y procent kans dat Z zal gebeuren.”

Dus, in het voorbeeld hierboven van Susan Greenfield: “Als ik ‘online leef’ is er Y procent (???) kans dat ik (of iemand anders) een stoornis zal krijgen binnen het autistische spectrum”. Hm, hoe klinkt haar stelling nu?

Stap 2: Trace it (Loop het spoor na)

Dit komt er op neer dat je niet simpelweg moet vertrouwen op wat iemand zegt omdat zij/hij een autoriteit is of een (zelbenoemde?) expert. (Paul heeft een tijdje geleden ook over schijnargumenten en drogredeneringen geblogd en hier ook over Eminence-Based Onderwijs of De Terreur van Overbekende Eduquacks waarin hij prominente ‘eduquack goeroes’ bespreekt en uitlegt waarom zij schade aanrichten aan lerenden). Dit betekent niet dat je van alles tot in de puntjes hoeft te onderzoeken, maar het is wel aan te raden om een beetje te graven en je af te vragen welk (soort) bewijs er eigenlijk is voor een bewering. Welke bronnen heeft de ‘beweerder’ gebruikt? Kijk en luister met een kritisch oog/oor!

Als voorbeeld, een Britse psycholoog, Dorothy Bishop, stelde een simpele vraag als reactie op Greenfield’s bewering. Ze vroeg “Waar is het bewijs?” Tot nu toe is de stilte oorverdovend.

Dit brengt ons bij stap 3…

Stap 3: Analyse it (Analyseer het)

Voor deze stap heb je in principe basiskennis van statistiek nodig maar een kritisch oog kan je al een eind op weg helpen. Willingham suggereert dat, als iets te mooi klinkt om waar te zijn, dat dat dan waarschijnlijk ook het geval is. We zouden ook willen stellen dat, als een stelling heel sterk klinkt, te algemeen, te dramatisch, enzovoort, dan is waarschijnlijk meer nuance nodig!

Nog een aanrader: volg/lees het werk van de mensen die kwalitatief goed ‘onderzoek-naar-praktijk’ werk doen, zoals (in ons veld) mensen als Pedro de Bruyckere, Learning Scientists, Daniel Willingham, Carl Hendrick, Tom Bennett, Blake Harvard, Dylan William, Will Thalheimer, en Patti Shank. Zij leveren allemaal zeer goed en bruikbaar werk. Zelf doen wij trouwens ook nogal ons best om een steentje bij te dragen 😊). Dat betekent natuurlijk niet dat je dan vervolgens deze mensen weer klakkeloos moet geloven, maar het zal het wel makkelijker voor je maken om een gevoel te krijgen voor dat onderzoek dat kwalitatief en goed bruikbaar is voor wat jij in je werk probeert te bewerkstelligen.

Stap 4. Should I do it? (Moet ik het doen?)

In ons werk zal dit veelal gaan om beslissingen zoals ‘zal ik deze methode toepassen, deze strategie implementeren, deze tool kopen’? Enzovoort.

Als laatste zouden we nog graag stap 5 toevoegen. Nou ja, het is eigenlijk moet het misschien stap 1 zijn.

Stap 5. Gebruik je hoofd!

Gebruik bestaand wetenschappelijk bewijs om je kennis en expertise op te peppen. Op die manier kun je onderbouwde gesprekken hebben met klanten of partners, ouders en (collega-) onderwijzers, directeuren of schoolhoofden en zo verder over WAAROM je bepaalde ontwerpbeslissingen en/of leerinterventies aanbeveelt. Het is simpelweg een uitstekende manier om je expertise te verbeteren en daarmee je waarde binnen de organisatie waar je werkt. Maar wat natuurlijk het belangrijkst is: je ontwerpen en leerinterventies zullen verbeteren, zodat de lerenden effectiever, efficiënter en op een meer bevredigende wijze kunnen leren!