Door Casper Hulshof (@titchener). Onderstaande bijdrage verscheen eerder op de Onderwijskunde in Utrecht blog.

It is difficult to make predictions, especially about the future.
Niels Bohr

I never worry about the future.  It comes soon enough.
Albert Einstein

Inleiding

De jaarlijkse TED-conferentie en alle afgeleide takken daarvan mogen zich in grote en groeiende populariteit verheugen. Als het over onderwijs gaat is er iemand die ook voor TED-begrippen boven de rest uit lijkt te stijgen. De videoregistratie van zijn optredens (op dit moment drie) zijn miljoenen malen bekeken. Het commentaar is universeel positief. ‘Inspirerend’, ‘overtuigend’, ‘mind blowing’, of simpelweg ‘wow!’: het is slechts een greep uit de reacties. Ik heb het over Sir Ken Robinson, een 63-jarige Engelse emeritus-hoogleraar die van het spreken (en schrijven) over zijn visie op onderwijs zijn vak heeft gemaakt. Robinson’s achtergrond is specialist op het gebied van dramaturgie en de creatieve vakken, en hun rol in het onderwijs. Dat zijn vakken die in het algemeen in weinig aanzien staan. Het overheidsbeleid is al jaren gericht op het verstevigen en aanscherpen van eisen aan kennis van rekenen en taal. Muziek, dans, tekenen, handvaardigheid… wie zich in Nederland op school voor deze disciplines interesseert kiest een in de publieke opinie nauwelijks serieus te nemen ‘pretpakket’. Recent is de term ‘pretstudie’ door de minister toegevoegd aan dit jargon. Die moeten weg want het perspectief op de arbeidsmarkt is voor dergelijke studies ongunstig. De term ‘werkschuw tuig’ valt nog net niet.

Robinson was in 1998 voorzitter van een commissie die aan de Britse overheid advies uitbracht over de rol van creatieve vakken en cultuur in het onderwijs. Het rapport van de commissie verscheen in mei 1999 onder de titel All Our Futures (het is hier te downloaden). Een belangrijke conclusie in het rapport is dat creativiteit en cultureel onderwijs ondergewaardeerd worden.Wat verder opvalt is dat heel veel elementen die in Robinson’s TED talks naar voren komen (zoals talentontwikkeling, de dynamiek van intelligentie, het belang van het helpen ontwikkelen van creativiteit) al in dit rapport in detail besproken worden. Robinson put hier in zijn toespraken rijkelijk uit, zonder het ook maar eenmaal te noemen. Op basis van zijn werk werd Robinson uitgenodigd door de organisatie van de TED-conferenties om over zijn ideeën te komen praten. Hij deed dit in 2006, en naar aanleiding van het succes daarvan nogmaals in 2010 en in 2013.

In dit stuk bespreek ik de drie toespraken die Ken Robinson tot nu toe hield tijdens TED-conferenties, hier en daar afgewisseld met persoonlijk commentaar. Ik was vooral benieuwd wat overblijft als je de toespraken ontdoet van alle franje. Daarom heb ik de Engelse transcripties van de toespraken bestudeerd en niet naar de videobeelden gekeken, om beter te focussen op de inhoud en niet op de wijze van oreren. Na de bespreking probeer ik een overzicht te geven van retorische stijlmiddelen waarvan Robinson zich bedient, waarna ik conclusies probeer te trekken.

De toespraken1

27 februari 2006: “Schools kill creativity”

“It’s been great, isn’t it?” Zo begint Ken Robinson zijn bekendste toespraak. Het is alsof hij persoonlijk het gesprek met iedereen afzonderlijk aangaat. Na een grapje is het publiek om. Ken zegt dat we de toekomst niet kennen. Dat is lastig voor onderwijs, want we kennen de wereld waarvoor we kinderen van nu opleiden nog niet. Wat Ken wel weet is dat elk kind unieke talenten bezit en dat ons huidige onderwijs dat talent meedogenloos verspilt. En dat terwijl juist creativiteit in deze tijd zo’n belangrijke vaardigheid is, eigenlijk op hetzelfde niveau als geletterdheid. Volwassen worden, dat betekent tot nu toe een verlies van creatief vermogen, en lef. We zijn als volwassene veel te bang om fouten te maken, en onbezonnen durf is juist de bron van creatieve innovatie. Robinson wisselt dit soort serieuze bespiegelingen af met persoonlijke anecdotes waarin humor de boventoon voert.

Waar je ook komt, het is duidelijk dat rekenvaardigheden belangrijker worden gevonden dan – pak ‘m beet – dansvaardigheid. Robinson vindt dat merkwaardig. Hij ziet onze focus op het behalen van academische vaardigheden als de belangrijkste oorzaak. We vinden het hoofd belangrijker dan elk ander lichaamsdeel (hier laat Robinson een kans om de uitspraak aan te halen van Woody Allen: “The brain? It’s my second favorite organ” liggen). Het heeft volgens hem twee oorzaken: de focus op werk – waarvan regelmatig wordt gezegd dat die zijn oorsprong kent in de opkomst van het industriele tijdperk – en de al genoemde rol van academische vaardigheid (als toppunt van intelligentie). Robinson vindt dat het hoog tijd is dat we intelligentie herdefinieren, om talent en creativiteit een belangrijker rol te geven. Hij verluchtigt dit punt met een op zijn minst discutabele anekdote  over het verschil tussen mannen en vrouwen in het vermogen om te multitasken, en met een uitgebreide anekdote over Gillian Lynne. Lynne kon zich als kind moeilijk concentreren en had ook moeite met stilzitten. Robinson suggereert dat we tegenwoordig waarschijnlijk pillen tegen ADHD zouden voorschrijven, maar ADHD bestond nog niet in de jaren 30. In zijn andere toespraken wordt duidelijk dat Robinson ADHD een cultuurziekte vindt, een uitspraak die hem niet door iedereen in dank wordt afgenomen. De dokter die Gillian Lynne onderzocht constateerde dat haar talent dansen was. Ze zou uitgroeien tot een beroemde ballerina en bekende choreograaf (onder andere van The Phantom of the Opera).  Ons onderwijssysteem is niet op mensen zoals Lynne ingericht, en dat zal in de toekomst een probleem worden (het valt me op dat Robinson dit stelt, terwijl hij eerder beweerde dat juist het kenmerk van de toekomst is dat we er niets van weten).
Als uitsmijter citeert Robinson de bioloog Jonas Salk: “If all the insects were to disappear from the earth, within 50 years all life on Earth would end. If all human beings disappeared from the earth, within 50 years all forms of life would flourish.” Krachtige woorden. Het enige probleem is dat ik nergens een goede bron van deze uitspraak heb kunnen vinden. Sterker: de vroegste bron die ik heb gevonden is Sir Ken zelf! Ik heb Robinson via Twitter gevraagd naar de bron die hij gebruikt heeft, maar geen antwoord gekregen. Het citaat lijkt hier puur als stijlmiddel te zijn gebruikt. We zullen dit vaker tegenkomen.
De toespraak sluit af met de wens dat we onderwijs gebruiken om kinderen te helpen de toekomst aan te kunnen.

Kortom: het huidige onderwijs benut het potentieel van getalenteerde en creatieve kinderen niet, en dat is een onwenselijke situatie.

14 februari 2010: “The learning revolution”

Het optreden in 2010 is een voortzetting van de toespraak in 2006, en in zekere zin ook een herhaling van zetten. Robinson spreekt van een crisis van ‘human resources’ (in aansluiting op de crisis van ‘natural resources’ waar Al Gore eerder over sprak bij TED). Daarna citeert Robinson Jeremy Benham, maar dat is onjuist, want het citaat (“There are two types of people in the world: those who divide the world into two types and those who do not”) is afkomstig van Robert Benchley. Dat is een opvallend opportune vergissing, want de Engelse filosoof Benham past veel beter in het straatje van Robinson dan de Amerikaanse humorist Benchley.

Robinson vindt het jammer dat zo weinig mensen doen wat ze echt leuk vinden in het leven. De oorzaak? Vooral het onderwijs, natuurlijk. “Education dislocates very many people from their natural talents.” Het gaat de laatste tijd wel beter maar er vinden vooral her en der onderwijshervormingen plaats. Ken vindt het allemaal veel te mager: we hebben geen hervorming nodig, maar een revolutie. Een onderwijsrevolutie.
Dat doe je niet zomaar. Innovatie is moeilijk omdat we nogal gehecht zijn aan onze gewoontes. Neem het polshorloge. Wie draagt het nog? De jongere generatie niet, in ieder geval: die kijkt liever op de telefoon. Het is geen heel sterk voorbeeld — het argument ‘X is voor oude mensen’ wordt voor zo’n beetje elke wat oudere technologie wel eens gebruikt, ook e-mail bijvoorbeeld — maar Robinson ziet het als een analogie van onderwijs: ons denken is verankerd in een traditioneel beeld van school, met name het idee van lineariteit. Maar het leven is niet lineair, het is organisch. Hier herhaalt Robinson zijn eerdere ideeën over de manier waarop onderwijs ons richting de universiteit wil loodsen. Intelligentie is meer dan het tonen van academische vaardigheden. Hij licht dit toe aan de hand van een brandweerman die als kind al brandweerman wilde worden, en in weerwil van alle goedbedoelde adviezen (‘je vergooit je leven!’) toch brandweerman werd (en later zijn leraar uit een autowrak redt). Het is een mooi verhaal maar klinkt wel wat geromantiseerd.

Daarna valt Robinson standaardisatie aan, wat hij een ‘fast food model of education’ noemt. In 2013 gaat hij hier specifieker (en naar mijn idee sterker) op in, met name het Amerikaanse ‘No Child Left Behind’-project waarin standaardisatie centraal staat. Intelligentie is veel te gevarieerd om in een standaard onderwijsmodel te gieten. Dan is er geen ruimte voor talent en voor passie. Om passie ruimte te geven moeten we af van het industriële model van onderwijs, en het omzetten in een organisch agricultureel proces. Dat wil zeggen: we moeten de omstandigheden creëren waaronder elk individueel talent en elke individuele passie optimaal tot bloei kunnen komen. Robinson doet een beroep op mensen ‘in business, in multimedia, in the Internet’ om een onderwijsrevolutie te bewerkstelligen. Wat hij van hen verwacht blijft enigszins vaag. Veel meer dan ‘get involved’ krijgen we niet te horen. Wel maakt Robinson nog een vluchtige opmerking waarin hij thuisonderwijs verdedigt, als kinderen daar zelf voor kiezen. Ik vraag me af of elke ouder daarop zit te wachten! Robinson sluit zijn voordracht stijlvol af met het gedicht He Wishes for the Cloths of Heaven van Yeats.

Kortom: er is een revolutie nodig in het onderwijs. We moeten af van de ambitie iedereen klaar te stomen voor de universiteit en van standaardisatie.

23 april 2013: “How to escape education’s death valley”

Robinson’s meest recente toespraak is wederom een herhaling en voortzetting van dat wat hij in 2006 en 2010 ook al noemde. Hij valt met de deur in huis: de tragische ironie van het ‘No Child Left Behind’-project is dat het juist velen gedesillusioneerd achterlaat. Erger: ook in de klas wemelt het van de leerlingen die niets met onderwijs hebben. Er wordt veel geld besteed aan het verbeteren van onderwijs, maar niet aan de juiste dingen. Het huidige onderwijssysteem is in zekere zin ‘onmenselijk’. Standaardisatie is zo’n onmenselijke maatregel. Mensen verschillen van elkaar, daar kan het systeem niet mee overweg. Standaardisatie en ‘teaching to the test’ zijn ook funest voor het bevorderen van (onze natuurlijke) nieuwsgierigheid. “[Testing] should support learning. It shouldn’t obstruct it.” Robinson slaat de spijker op zijn kop hier. Tenslotte zijn mensen ook creatief, en ook daar kan een gestandaardiseerd systeem niet mee omgaan. Wat mij opviel is dat Robinson het woord ‘talent’ in 2013 niet meer gebruikt (slechts eenmaal) terwijl hij het in zijn toespraak van 2010 maarliefst acht keer noemt.

Het kan ook allemaal anders. Robinson haalt Finland aan, en sluit daarmee achter een lange rij onderwijsinnovators aan. In Finland vallen leerlingen niet uit. Aan gestandaardiseerde tests wordt vrijwel niet gedaan. Een vereiste voor zo’n systeem is dat de leerkracht een echte professional is. Een masterstudie is het minimum. Daarnaast moet je onderwijs teruggeven aan degenen die het onderwijs verzorgen. Oftewel: minder management, minder overheidsbemoeienis, minder stringent beleid. Ken herhaalt nog maar eens dat school organisch en dynamisch is, en niet lineair en statisch. Hij komt met een prachtige analogie op de proppen: Death Valley, een van de droogste plaatsen op Aarde. Niets groeit daar. Maar die ene keer dat het er wel regent schieten de gewassen er uit de grond. Al die tijd lagen de zaadjes te wachten op de juiste omstandigheden. Dat is de taak van onderwijsleiders: een ‘climate of possibility’ creëren. Het is een mooie metafoor, en een herhaling van het agriculturele model dat Robinson in 2010 introduceerde.
Het is alleen niet echt nieuw, want het lijkt als twee druppels water op de tuinmanfilosofie van Friedrich Fröbel. Niet voor niets is Fröbels belangrijkste ontwikkeling de Kindergarten (‘Kindertuin’) geweest! Robinson had hier met gemak Fröbel kunnen citeren, maar presenteert hier alsof het om een nieuw idee gaat.

Na de Death Valley-metafoor sluit Robinson af met een citaat dat hij toeschrijft aan de grote Amerikaan Benjamin Franklin (“All mankind is divided into three classes: those who are immovable, those who are movable; and those who move”). Na wat zoekwerk is snel duidelijk dat er geen bron bestaat voor dit citaat en dat het vrijwel zeker niet van Franklin afkomstig is.

Kortom: we moeten naar een nieuw onderwijssysteem toe, een waar standaardisatie en controle afwezig zijn en waar nieuwsgierigheid en creativiteit (en wellicht ook talent) tot bloei kunnen komen.

Het retorisch vernuft

Een belangrijke reden dat de toespraken van Ken Robinson zo’n doorslaand succes zijn is de manier waarop hij zich presenteert: hij praat schijnbaar nonchalant en voor-de-vuist-weg, alsof je met hem aan een bar zit. Verder gebruikt hij verschillende retorische stijlelementen om zijn verhaal te ondersteunen. Ik som hier een aantal op, in de overtuiging dat ik er nog wat over het hoofd zie. Voor docenten en anderen is naar mijn idee veel inspiratie te putten uit deze stijlelementen.

  • Het publiek. De zaal toont zich zeer welwillend tegenover Ken. Ik weet uit ervaring hoe een actief publiek kan helpen bij het  presenteren. Zelfs een open deur als ‘kinderen verschillen van elkaar’ wordt met applaus ontvangen.
  • Interactie met het publiek. In aansluiting op het vorige punt: Robinson bespeelt het publiek handig door te grossieren in tussenzinnetjes als “you know?”, “don’t you agree?” en “am I right?”.
  • Humor. Robinson opent elke toespraak met een paar grappige opmerkingen. De humor is uiterst zorgvuldig over de toespraken gedoseerd. Het is precies goed, hoewel wellicht niet elke grap even geslaagd is. Ook de timing die hij gebruikt is erg goed, met pauzes op het juiste moment.
  • Anekdotes. De verhalen die Robinson vertelt om zijn punt duidelijk te maken zijn wat veel mensen bijblijft na afloop. Het zijn stuk voor stuk persoonlijke verhalen (“I met this woman a few years ago…”) met een heldere boodschap. Zoals ik eerder opmerkte: het komt soms wat geromantiseerd over. De anekdote staat duidelijk in dienst van het verhaal.
  • Krachtige statements. ”Human resources are like natural resources; they’re often buried deep.” ”Children are not suffering from a psychological condition. They’re suffering from childhood.” Het zijn uitspraken die blijven hangen en die zo op een tegeltje aan de wand kunnen. De statements zijn ook zo algemeen dat er eigenlijk weinig tegenin te brengen valt. Robinson sluit hiermee aan bij een lange rij onderwijsfilosofen die ergens bij Confucius begint.
  • Gebruik van citaten. Een goed citaat werkt als een fijne afsluiting. Hierboven heb ik geconstateerd dat Robinson minder in accuraatheid dan in doeltreffendheid geïnteresseerd lijkt te zijn. Het effect is er niet minder om.
  • Het gebruik van analogieën. Het agriculturele ‘Death Valley’-model van onderwijs, het fast-foodmodel van onderwijs: het zijn krachtige metaforen die bijna niets aan de verbeelding overlaten.
  • Dingen in drieën. Robinson is expert in het geven van opsommingen waarbij er drie elementen zijn. Hij doet dit in al zijn toespraken, met als klap op de vuurpijl die van 2013, waarin hij dit… driemaal doet.

Conclusies

Als je de drie toespraken beschouwt, dan zie je dat Robinson’s kritiek op het onderwijs met de jaren specifieker is geworden. Van: er wordt talent verspild tot: standaardisatie leidt tot stagnatie. Wat opvalt is dat hij vooral problemen signaleert, maar slechts in zeer algemene termen praat als het erom gaat wat concreet moet gebeuren. Wat dat betreft zijn het vooral vergezichten die hij schetst. Is wat Robinson beweert nieuw? Niet echt. Ten eerste lijken zijn uitspraken over onderwijs op uitspraken van de ‘Progressieve Education’-beweging van John Dewey kenmerkten. Dat was zo’n 100 jaar geleden. Ten tweede bouwt Robinson voort op conclusies die hijzelf al trok in het “All our futures”-rapport. Dat rapport is een stuk inhoudelijker, maar tegelijk natuurlijk ook een stuk minder behapbaar als een toespraak van 18 minuten.

Ken Robinson is een begenadigd spreker die met veel gevoel voor drama en met krachtige retoriek zijn punt weet te maken. Hij doet me wel ergens denken aan Ronald Emmerich, als regisseur van films als The day after tomorrow en 2012 geliefd bij een groot publiek, door critici verguisd. Zo ver is het gelukkig zeker nog niet met Ken, maar ik zou het zeker waarderen als hij zijn woorden nog zorgvuldiger kiest, zich meer richt op oplossingen en minder op problemen, en wat minder focust op het creëren van dramatisch effecten.

Bronnen

  • “Ken Robinson says schools kill creativity” (TED Talk, juni 2006)
  • “The Learning revolution” (TED Talk, februari 2010)
  • “How to escape education’s death valley” (mei 2013)
  • National Advisory Committee on Creative and Cultural Education (1999). All our futures: Creativity, culture, and education.

Noot

1 Ik heb geprobeerd te achterhalen wanneer de TED talks precies zijn uitgesproken, maar dit blijkt vreemd genoeg lastig te achterhalen. De TED Talks vinden plaats in februari, maar worden meestal pas in mei op internet geplaatst. Daarom wordt mei regelmatiggenoemd als de maand waarin de toespraak plaatsvond.

Door Jeroen Janssen (@J3ro3nJ). Eerder verschenen op de blog Onderwijskunde in Utrecht.

Moeten we hoge verwachtingen hebben van het inzetten van onderwijstechnologie in het rekenonderwijs? Een recente meta-analyse suggereert dat misschien niet realistisch is.

Al jaren wordt er door overheden en scholen flink geïnvesteerd in nieuwe technologie. Nieuwe technologische toepassingen zoals interactieve whiteboards, tablets, smart phones vinden hierdoor hun weg meer en meer naar het klaslokaal. Dat het inzetten van technologie in het onderwijs big business is, blijkt wel uit het feit dat de Amerikaanse overheid in 2009 besloot 650 miljoen dollar beschikbaar te stellen voor onderwijstechnologie.

Dit roept de vraag op wat deze investeringen opleveren. Er wordt geïnvesteerd in onderwijstechnologie met het doel om het onderwijs te verbeteren, om het leerproces van leerlingen beter te ondersteunen en om leraren te helpen nog beter onderwijs te verzorgen. Lukt dat ook? Dat is de vraag die de honderden, zo niet duizenden, studies die de afgelopen decennia zijn uitgevoerd naar de effecten van onderwijstechnologie proberen te beantwoorden.

Om uit die enorme hoeveelheid studies zinnige conclusies te kunnen trekken – sommige studies vinden immers een positief effect, anderen geen effect, en weer anderen een negatief effect – voeren onderzoekers regelmatig meta-analyses uit. Met een meta-analyse proberen onderzoekers het effect van een interventie, van een nieuwe toepassing, samen te vatten met één maat, de effectgrootte. Deze effectgrootte wordt berekend door de uitkomsten van de studies die worden opgenomen in de meta-analyse te combineren. Hierbij krijgen grotere en betrouwbaardere studies meer gewicht dan kleinere en onbetrouwbaardere studies.

Geo2010_Proof_Large

Een recente meta-analyse, uitgevoerd door Cheung en Slavin (2013), probeert de vraag te beantwoorden wat het effect van onderwijstechnologische toepassingen is op de rekenprestaties van leerlingen in het basis- en voortgezet onderwijs. Dat effect blijkt niet groot te zijn. Cheung en Slavin vonden een effectgroote van +0.16. Een positief effect van onderwijstechnologie weliswaar, maar wel een zeer bescheiden effect: leerlingen die met onderwijstechnologie werken tijdens het rekenonderwijs presteren beter dan kinderen die daar niet mee werken. Dit verschil is echter relatief klein.

Hattie_barometer_2_hingeIn de terminologie van Hattie’s Visisble Learning (2009) gaat het hier om een effectgrootte die ruim onder de door hem gehanteerde grens van +0.40 blijft. Effectgroottes boven +0.40 zijn volgens Hattie betekenisvolle effecten; effecten van daadwerkelijk effectieve interventies. Blijft een interventie onder deze grens, dan is het de vraag of implementatie van deze interventie wel zinvol is.

Deze bevinding staat veraf van de positieve verwachtingen die de evangelisten van onderwijstechnologie hebben. Hoe kan het dat – althans in het rekenonderwijs – de effecten van onderwijstechnologie zo bescheiden zijn? De effectgrootte die Cheung en Slavin vinden, is ook behoorlijk lager dan die eerder door andere auteurs werd gevonden. Zo vonden Li en Ma (2011) een effectgrootte van +0.28, Kulik en Kulik (1991) een effectgrootte van +0.39 en Khalili en Shashaani (1994) zelfs een effectgrootte van +0.52 van onderwijstechnologie op prestaties in het rekenonderwijs. Hattie (2009) vond in zijn review van alle meta-analyses naar de effecten van onderwijstechnologie een effectgroote van +0.37. Hoe is dit te verklaren?

Het moge duidelijk zijn dat Cheung and Slavin niet de eersten zijn die een meta-analyse uitvoeren naar de effecten van onderwijstechnologie in het rekenonderwijs. Ze beschrijven in hun artikel daarom ook uitgebreid op welke vlakken hun meta-analyse afwijkt van eerdere meta-analyses en waarom hun meta-analyse een betrouwbaarder resultaat oplevert. Volgens Cheun en Slavin bevatten eerdere meta-analyses duidelijke tekortkomingen; tekortkomingen die hun meta-analyse niet heeft. Deze zijn onder andere:

  1. Geen controlegroep: In eerdere meta-analyses zijn vaak studies opgenomen waarbij geen gebruik gemaakt wordt van een controlegroep; een controlegroep waarbij de leerlingen “onderwijs-zoals-gebruikelijk” kregen. Zonder zo’n controlegroep is het onmogelijk om toename in rekenprestaties met zekerheid toe te schrijven aan onderwijstechnologie. Zo’n toename kan dan ook veroorzaakt worden door andere factoren dan de onderwijstechnologie, bijvoorbeeld rijping of groei.
  2. Korte duur: Veel studies naar het gebruik van onderwijstechnologie betreffen studies waarbij slechts voor korte tijd (soms slechts één les) met de onderwijstechnologie gewerkt wordt. Door slechts voor een korte periode met onderwijstechnologie te werken, bestaat het risico dat de gevonden effect grootte slechts toe te schrijven is aan de nieuwigheid van de onderwijstechnologie. Pas wanneer voor langere tijd met onderwijstechnologie gewerkt wordt, met andere woorden als de nieuwigheid er voor leerlingen en leraren vanaf is, is volgens Cheung en Slavin écht vast te stellen wat het effect ervan is voor het onderwijs. In de meta-analyse van Cheun en Slavin zijn daarom alleen studies opgenomen die 12 weken of langer duurden.
  3. Verschillen tussen onderzoeksgroepen bij aanvang van de studie: Volgens Cheung en Slavin is het van belang dat bij aanvang van een onderzoek wordt vastgesteld of de onderzoeksgroepen vergelijkbaar zijn. Wanneer de rekenprestaties in de ene groep bij aanvang van het onderzoek al hoger zijn dan de andere groep, dan is geen eerlijke vergelijking mogelijk. Daarom namen Cheung en Slavin in hun meta-analyse alleen studies op waarbij er een zogenaamde voormeting werd gedaan, zodat was vast te stellen of de onderzoeksgroepen bij aanvang wel vergelijkbaar waren.

Het moge duidelijk zijn: Cheung en Slavin zijn streng. Alleen studies die aan strenge criteria voldoen, zijn opgenomen in deze meta-analyse. Op basis van een zoektocht in verschillende databases localiseerden Cheung en Slavin meer dan 700 studies die mogelijk in aanmerking zou komen voor opname in de meta-analyse. Uiteindelijk konden daarvan slechts 74 aan de strenge criteria van Cheung en Slavin voldoen. En op basis van deze 74 studies moeten we concluderen dat onderwijstechnologie een kleine, maar positieve bijdrage levert aan het verbeteren van de rekenprestaties van leerlingen in het basis- en het voorgezet onderwijs.

ipadschoolMoeten we dan accepteren dat tot nu toe de effecten van onderwijstechnologie in het rekenonderwijs slechts bescheiden zijn? De uitkomsten van de meta-analyse laten weinig ruimte voor een andere conclusie. Dat wil uiteraard niet zeggen dat onderwijstechnologie niet de potentie heeft om een grotere bijdrage te gaan leveren aan het verbeteren van het rekenonderwijs. Ook onderwijstechnologie ontwikkelt zich in een snel tempo; nieuwe toepassingen worden met grote regelmaat beschikbaar en met veel enthousiasme door sommige leraren ingezet in het onderwijs. Wie weet hoe het klaslokaal van 2020 eruit zal zien en op welke manier onderwijstechnologie dan – misschien beter dan toe nu toe – het onderwijs veranderd en verbeterd zal hebben?

Referenties

Cheung, A. C. K., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113. doi: j.edurev.2013.01.001

Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Khalili, A., & Shashaani, L. (1994). The effectiveness of computer applications: A meta-analysis. Journal of Research on Computing in Education, 27, 48–62.

Kulik, C. L. C., & Kulik, J. A. (1991). Effectiveness of computer-based instruction: An updated analysis. Computers in Human Behavior, 7, 75–94.

Li, Q., & Ma, X. (2011). A meta-analysis of the effects of computer technology on school students’ mathematics learning. Educational Psychology Review, 22, 215–243.

Door Frans Droog

Deze blogpost is eerder verschenen op Droog’s leren delen.

De resultaten van een grootschalig onderzoek dat recent is gepubliceerd in het online tijdschrift PLOS ONE laten overduidelijk zien dat er een verschil is tussen de prestaties van jongens en meisjes wanneer er wordt gekeken naar wiskunde en lezen.

Sex Differences in Mathematics and Reading Achievement Are Inversely Related: Within- and Across-Nation Assessment of 10 Years of PISA Data

De naar het Nederlands vertaalde samenvatting:

Wij hebben een decennium aan data verzameld door het ‘Program for International Student Assessment” (PISA) geanalyseerd, hierbij inbegrepen de wiskundige en leesvaardigheden van bijna 1,5 miljoen 15 jarigen in 75 landen. Over alle landen gemiddeld scoorden jongens hoger dan meisjes in wiskunde maar lager dan meisjes in lezen. Het verschil tussen de seksen was drie keer zo hoog bij lezen dan bij wiskunde.

Er was aanzienlijke variatie in het verschil tussen de seksen tussen verschillende landen. Er zijn landen waar er geen sekseverschil is bij wiskunde en in sommige landen scoren meisjes hoger. Jongens scoorden lager in alle landen in alle vier de PISA onderzoeken bij lezen (2000, 2003, 2006, 2009).

Paradoxaal genoeg waren verschillen tussen de jongens en meisjes bij wiskunde consistent en sterk invers gerelateerd aan de verschillen tussen jongens en meisjes bij lezen. Landen met een kleiner verschil tussen de seksen bij wiskunde hadden een groter verschil tussen de seksen bij lezen, en vice versa. Dit effect trad niet alleen bij het vergelijken van landen maar ook bij het vergelijken binnen landen. Dit effect is gerelateerd aan de relatieve veranderingen van de sekseverschillen binnen het spectrum aan resultaten. Wij vonden geen sekseverschillen bij wiskunde tussen de minst presterende leerlingen maar hier was het sekseverschil bij lezen het grootst. In tegenstelling hiermee waren de verschillen tussen jongens en meisjes bij wiskunde het grootst bij de best presterende leerlingen en waren hier de sekseverschillen bij lezen het kleinst.

De implicatie is, dat als beleidsmakers beslissen dat veranderingen in de bestaande verschillen tussen jongens en meisjes gewenst zijn, verschillende aanpakken nodig zijn om dit aan te pakken voor wiskunde en lezen. Ingrepen die gericht zijn op hoog presterende meisjes bij wiskunde en op laag presterende jongens bij lezen zullen waarschijnlijk de grootste educatieve winst opleveren.

Jongens en meisjes verschillen in prestaties bij wiskunde en lezen.

En nu niet meer zeggen dat het niet zo is! :)

Maar, ook niet meer zeggen dat dit ook maar iets zegt over één individuele vrouwelijke of één individuele mannelijke leerling!

Door Paul Kirschner

Als editor van twee wetenschappelijke tijdschriften geniet ik van het feit dat ik een steentje mag bijdragen aan het ontwikkelen en verspreiden van de wetenschap. Maar ik ben recentelijk opgeschrikt door twee beleidsveranderingen die mij direct treffen.

De eerste verandering is van Taylor & Francis en gaat over open access (d.w.z. vrije toegang tot artikelen in hun tijdschriften). T&F hanteert vanaf nu een beleid voor het beschikbaar stellen van hun artikelen dat door de Britse overheid eigenhandig is vastgesteld en waarvan de Britten ervan uitgaan dat de wereld hen zal volgen; “Rule, Brittania”! En wat hebben de Britten bepaald? Ten eerste komt er Gold access voor onmiddellijke toegang tot een artikel, waarvoor de indiener $3000 moet betalen. Dit bedrag koopt ook de mogelijkheid tot verspreiding via Creative Commons. Ten tweede komt er Green access; weliswaar gratis, maar met een embargoperiode van tussen de 12 en 24 maanden! Het ‘goede nieuws’ is dat de auteur een geaccepteerd artikel in haar/zijn eigen repository beschikbaar kan stellen voor derden, maar… T&F bepaalt dat dit alleen geldt voor de submitted versie, dus de eerst ingediende versie en niet de herziene of uiteindelijk geaccepteerde versie. Met andere woorden: de auteur mag een incomplete en niet met het uiteindelijke artikel overeenkomende versie als PDF van een Word-doc op het web zetten! Leve de vrijheid en openheid van de wetenschap!

Over de tweede beleidsverandering kreeg ik een e-mail met het volgende: “US editors and reviewers can no longer handle submissions by authors employed by the Government of Iran.” Wat is het geval? De Office of Foreign Assets Control (OFAC) van het Amerikaanse Ministerie van Financiën gaat over economische en handelssancties en zij hebben bepaald dat Amerikaanse editors, Elsevier staf en beoordelaars wetenschappelijke manuscripten waarvan een of meer auteurs voor de Iraanse overheid werkt, niet mogen behandelen. Hier de OFAC-bepaling.

Dit betekent enerzijds dat ‘mijn’ journal zulke manuscripten bij voorbaat afwijst en anderzijds dat ik, als ik toch zo’n besmet manuscript krijg, moet kiezen om het af te wijzen wegens OFAC sancties, omdat (al zou ik niet-Amerikaanse beoordelaars gebruiken) Elzeviers editors ze niet zouden mogen bewerken en het tijdschrift ze niet zou mogen publiceren omdat die in de VS zit! Leve “the land of the free and the home of the brave”!

Tot slot nog dit. Er blijkt een hele rel te bestaan over het dataminen in de archieven van medische en biologische tijdschriften om de resultaten van alle onderzoekingen over verschillende genetische aspecten van ziektes en aandoeningen bij elkaar te harken en zodoende sneller en gerichter aan geneesmiddelen te werken. Probleem is dat hoewel de onderzoekers al abonnementen hebben op alle tijdschriften, de uitgevers meer geld willen hebben om ze te ‘mijnen’! Leve de vrije markt!

Om in de stemming te blijven: Hoezee! Hoezee! Hoezee!

Deze blog verscheen ook op http://www.campusorleon.nl/system/files/co_times_mei_2013.pdf

Door Dick van der Wateren
Eerder verschenen op mijn blog

Creativiteit speelt op school, behalve bij de kunstvakken, een heel bescheiden rol. Creativiteit wordt vaak gezien als leuk kunnen tekenen of liedjes zingen. Bij de meeste andere vakken moet je gewoon leren wat in het boek staat en niet teveel lastige vragen stellen. Ik overdrijf misschien een beetje, maar Ken Robinson wees er in zijn veelbekeken TED-lezing Do schools kill creativity? op dat dit een funeste invloed heeft op de ontwikkeling van jonge mensen.
Ik denk dat de meesten van ons de creativiteit van onze leerlingen graag zouden willen stimuleren, als we maar wisten hoe. Alleen, de lesmethoden helpen niet erg mee. Die werken toch vooral toe naar ‘het juiste antwoord’ en bereiden voor op de vragen van het eindexamen. Niets mis mee, maar creatief kun je dat niet noemen.
Om de vraag te beantwoorden: ‘Hoe stimuleer ik de creativiteit van mijn leerlingen?’ organiseren Simon Verwer (@Denkfiguren) en ik twee workshops in het kader van TheCrowd.nl.

Twee vragen vooraf:

  • Waarom is creativiteit in het onderwijs belangrijk en is het belangrijk voor alle leerlingen?
  • Kun je iemands creativiteit meten en moet je dat willen?

Ik ben van mening dat creativiteit een centrale plaats in het onderwijs zou moeten hebben, bij alle vakken. Voor creativiteit bestaan allerlei definities, maar ik vind zelf deze heel bruikbaar:

Creativiteit is het vermogen van mensen om meerdere antwoorden op een vraag of meerdere oplossingen voor een probleem te vinden.

Dat is een eigenschap die voor iedereen nuttig is, of je nu kunstenaar, automonteur, hersenchirurg, politieagent, wiskundige, meubelmaker, socioloog of leraar bent. Degenen die in hun beroep het meeste succes hebben, zijn zonder uitzondering in hun vak de meest creatieven.
Daarbij is het stellen van de juiste vraag het belangrijkste en dat is precies waar we onze leerlingen te weinig in stimuleren.

Over de vraag of je creativiteit kunt en ook zou moeten meten werd naar aanleiding van mijn post op deze groepsblog Nieuwe methode om creativiteit van leerlingen te meten soms fel gediscussieerd. Ik schreef daar over een methode die door een Britse onderzoeksgroep was ontwikkeld (Lucas, Claxton en Spencer, 2013) in opdracht van de OECD, en die op een aantal Engelse scholen is uitgeprobeerd.

In Antwoord op commentaren schreef ik onder andere:

Als docent vind ik het spannend jonge mensen te begeleiden in het proces naar [een] ingeving, een origineel idee, of nieuw product. Ik beleef veel plezier aan het samen nadenken over vragen en problemen en mogelijke wegen naar een oplossing. De antwoorden zijn dan niet direct het belangrijkste. Net als in de wetenschap roepen vragen weer nieuwe vragen op.

Als meetbare kenmerken van creatieve ontwikkeling onderscheiden [Lucas e.a.]: nieuwsgierigheid, fantasie/vindingrijkheid, vasthoudenheid, discipline en samenwerking, ieder weer onderverdeeld in drie subcategoriën. Die lijst lijkt me voldoende houvast te geven om de vorderingen van leerlingen te volgen.

Ik zie dit in de eerste plaats [...] als een coachingsinstrument, dat op drie manieren wordt gebruikt:

  • leerlingen ontwikkelen hun creatieve vermogen door met dit instrument te reflecteren op hun eigen leeractiviteiten;
  • de docent geeft feedback aan de leerling door middel van een gesprek over de door beiden genoteerde scores;
  • de docent reflecteert met dit instrument op het effect van zijn of haar lessen en de gebruikte leermiddelen.

Dat laatste punt benadrukt dat lessen in creativiteit net zo belangrijk zijn voor de leraar als voor de leerling. Om leerlingen te helpen zich bewust te worden van hun creativiteit en die te ontwikkelen is het een voorwaarde dat de docent dat ook doet. Als het werkt, leidt deze aanpak tot betere, interessantere en uitdagender lessen. In alle vakken. Ook wiskunde, natuurkunde en andere ‘harde’ wetenschappen vragen om creativiteit.

Om ieder misverstand weg te nemen, het instrument is bedoeld als diagnostische instrument om de creatieve ontwikkeling van jonge mensen te volgen, niet als summatieve toets. Je moet er niet aan denken dat iemand een rapportcijfer voor creativiteit zou geven.

Workshop ‘Creativiteit meten: nuttig of niet?’

In deze workshop willen we samen met andere docenten en onderzoekers nadenken over manieren om creativiteit bij jonge mensen te bevorderen. We gaan uit van het instrument dat ontwikkeld is door de groep van Lucas e.a. Het doel van dit instrument is om de creatieve ontwikkeling van leerlingen te kunnen volgen. Het gaat hierbij uitdrukkelijk niet exclusief om de cultuurvakken. Onze opvatting en die van de Britse onderzoekers is dat creativiteit een onderdeel is van ieder vak. Simon Verwer en ik zien onze rol daarbij niet als die van cursusleider, maar als docenten met een eigen pakket aan ervaringen, die zoeken naar manieren om leerlingen in hun creatieve ontwikkeling te helpen. Van de deelnemers verwachten wij een zelfde opstelling. Ieder neemt zijn of haar expertise mee.

Samen met de deelnemers willen we in deze workshop een experimenteel onderzoek(je) opzetten waarbij verschillende instrumenten gebruikt kunnen worden om de creatieve ontwikkeling van leerlingen te volgen. Het idee is om 2x bij elkaar te komen, 1x voor de aftrap en 1x voor de terugkoppeling. Tijdens het onderzoek kan er natuurlijk digitaal met elkaar gecommuniceerd worden.

De workshop vindt plaats op:

donderdag 16 mei 17:00 – 20:30, inclusief borrel en pizza, op het Eerste Christelijk Lyceum (ECL), Zuider Emmakade 43, 2012 KN Haarlem.

Aanmelden: op de website van The Crowd http://www.thecrowd.nl/events/3M6C48F2/. Dan weten we hoeveel pizza’s we moeten bestellen en daar volgen ook verdere mededelingen, o.a. over vooraf te lezen literatuur en discussiepunten.

______________________________________________________________

Voor wie The Crowd nog niet kent:

The Crowd is een open professionele leergemeenschap, een netwerk en een platform voor onderwijsprofessionals die de regie voor een levenlang leren in eigen hand willen houden en samen willen werken aan inspirerend onderwijs voor de toekomst. Bij The Crowd ben je in goed gezelschap, sluit je aan!

Hoe werkt The Crowd?

Deelnemers

Voor 250 euro per jaar word je deelnemer.

Toegang
Je verkrijgt daarmee onbeperkt toegang tot de activiteiten die we organiseren. Denk aan: trainingen, workshops, studiedagen, conferenties, themabijeenkomsten, co-creatie sessies, durftevragen-middagen, netwerk-bijeenkomsten en nog veel meer.
Je lidmaatschap kun je bijvoorbeeld betalen uit het scholingsbudget dat je school voor jou beschikbaar heeft.

Op maat
Je initieert zelf een activiteit omdat jij daar behoefte aan hebt. Kom met je plan, mobiliseer medestanders (bijvoorbeeld via het Prikbord) en maak het mogelijk!

Netwerk
Je wordt deelnemer van een open, flexibel netwerk van professionals. Kennisdeling en uitwisseling kenmerken dit netwerk. Jouw vraag hoeft nooit lang op een antwoord te wachten.

Ontwikkeling
Je maakt jouw eigen ontwikkeling zichtbaar. Laat zien wie je bent en wat je expertise is. Maak jezelf zichtbaar, in je school en binnen het netwerk van The Crowd.

Volgers

Misschien heb je wat meer tijd nodig om te bepalen of je deelnemer wilt worden van The Crowd. Daarom is het ook mogelijk om The Crowd te volgen.

Volgers:
- Worden via de website op de hoogte gehouden van activiteiten van The Crowd
- Ontvangen de nieuwsbrief
- Kunnen deelnemen aan kennismakingsactiviteiten (bijvoorbeeld Eventstorms)

Lees meer over The Crowd

_____________________________

Bronnen

Csikszentmihalyi, M. (1996), Creativity: Flow and the Psychology of Discovery and Invention, HarperCollins, New York.

Lucas, B., G. Claxton en E. Spencer (2013), Progression in Student Creativity in School: First Steps Towards New Forms of Formative Assessments, OECD Education Working Papers, No. 86, OECD Publishing. http://dx.doi.org/10.1787/5k4dp59msdwk-en
pdf

Sir Ken Robinson, 2001. Out of Our Minds: Learning to Be Creative. Capstone. ISBN 1907312471[6]

Sir Ken Robinson, 2006. Why schools kill creativity – The case for an education system that nurtures creativity: TED Conference talk, Monterey, California. http://www.ted.com/index.php/talks/view/id/66

Door Paul Kirschner

Met uiterste verbazing las ik een bijdrage van Rinke Verkerk in VK Banen Special Werken in het Onderwijs van 13 april jl. met de titel “Zo word je een excellente leraar”. Hierin geeft zij vijf tips voor leraren “op jacht naar de prestatiebonus”.

Lezend, vroeg ik mij steeds af hoe zij aan die vijf tips kwam? Uit welke onderzoek(en) heeft zij die geplukt of gedestilleerd? Wil je – volgens Verkerk – een topleraar worden moet je aan je imago werken c.q. moet je jezelf verkopen, moet je een eigen stijl ontwikkelen die zij “duidelijkheid” noemt, moet je weten “hoe digitaal wil en kan ik lesgeven?”, moet je excellente kinderen scouten door o.a. talentshows te houden en als je een hekel hebt aan leerlingen (ik verzin het echt niet; een excellente leraar die een hekel heeft aan leerlingen) moet je aan commissies deelnemen, moet je schoolreisjes plannen en/of moet je meehelpen met de administratie. Doe je deze vijf dingen, dan word je excellent en kom je – volgens haar – in aanmerking voor een prestatiebonus. Ik heb het artikel een aantal keer gelezen en heb gezocht naar een zin of zinsnede die mij gerust zou stellen dat het stuk ironisch of sarcastisch bedoeld was of dat de originele datum van het stuk 1 april was. Maar helaas vond ik geen teken van ironie en het was echt geen 1 april grap.

En wat is nou de werkelijkheid? Wat maakt een gewone leraar excellent? John Hattie, onderwijsonderzoeker par excellence en directeur van de Melbourne Education Research Institute in Australië publiceerde onlangs een boek (Visible Learning) waarin hij 816 meta-analyses van onderzoek naar leren en wat leren beïnvloedt analyseerde; in totaal 62.169 studies met meer dan 83 miljoen deelnemers! Met andere woorden hij voerde een meta-meta-analyse uit die 15 jaar heeft gekost. Zijn conclusie over wat de grootste positieve invloed heeft op het leren van leerlingen kan – kort door de bocht genomen – opgesomd worden in drie woorden: de goede leraar. Deze positieve invloed bereiken leraren door invloedrijk / gezaghebbend op te treden, en door zorgzaam en actief betrokken te zijn bij zowel hun eigen wijze van doceren als het leren van hun leerlingen. Excellente leraren hebben ook een zeer gedegen en diepe domeinkennis om betekenisvolle terugkoppeling te kunnen geven over wat ieder leerling in de klas denkt en weet. Hattie concludeert dat “het onweerlegbaar is dat wat leraren weten, doen en waar zij zich voor interesseren” bepalen of er door hun leerlingen goed geleerd wordt.

En hoe zit het met die leerkracht? Wat onderscheidt een ervaren leraar van een excellente leraar? In 2003 onderzocht hij precies deze vraag. Over de 16 door hem geïdentificeerde “prototypische eigenschappen van docentexpertise”, scoren expertleerkrachten hoger op alle 16. Het voert te ver hier om alle 16 te bespreken, maar de grootste verschillen tussen expert en ervaren leraren zijn te vinden bij de volgende drie eigenschappen:

  • Challenge (Uitdaging): Expert leraren verstrekken uitdagende taken en leerdoelen aan hun leerlingen die ook goed bij de verschillende leerlingen passen. Zij kunnen dit doen omdat zij – zie hierboven – een zeer gedegen en diepe domeinkennis hebben en dus weten wat de leerlingen denken en weten.
  • Deep representation (Diep begrip): Expert leraren hebben diepe en uitgebreide representaties van zowel wat doceren is als wat leren is. Hun kennis is ook beter georganiseerd, zij kunnen verbanden beter (uit)leggen tussen leerinhouden en voorkennis, kunnen lesinhouden goed koppelen aan andere onderwerpen in het curriculum binnen en buiten hun eigen vakgebied, enzovoorts.
  • Monitoring and feedback (Volgen en terugkoppelen): Expert leraren kunnen de problemen van leerlingen effectief monitoren, zijn in staat het niveau van begrip en vooruitgang van hun leerlingen nauwkeurig te bepalen en geven meer en meer-relevante en bruikbare terugkoppeling.

Volgens Hattie, kunnen op basis van alle 16 attributen 84% van alle leraren correct worden geïdentificeerd als expert in tegenstelling tot alleen ervaren, maar met alleen de genoemde drie kunnen 80% van de excellente leraren geïdentificeerd worden. Met andere woorden deze drie scheiden het kaf van het koren.

En hoe word je in werkelijkheid een excellente leraar? Simpel. Door aan de 16 eigenschappen te werken, uitgaande van een diepe en gedegen domeinkennis en een liefde voor jouw vak en jouw leerlingen, maar vooral door te werken aan de top 3 word je een topper.

Zo word je een excellente leraar!

Op verzoek van het Nationaal regieorgaan Onderwijsonderzoek plaats ik deze oproep aan docenten en onderzoekers.

Dick van der Wateren

Oproep tot het aandragen van ideeën voor onderwijsonderzoek

NRO-logoIn de zomer van 2012 heeft het ministerie van OCW besloten tot de oprichting van het Nationaal Regieorgaan Onderwijsonderzoek (NRO). Het NRO is ingesteld om de afstand tussen wetenschappelijk onderzoek en de praktijk van het onderwijs te verkleinen. Vanaf 2014 zal het NRO onderzoek naar onderwijs laten uitvoeren. Dit zal deels gebeuren door onderzoeksteams waarin scholen en wetenschappers samenwerken.

Voor de invulling van het onderzoek is het van belang de juiste thema’s vast te stellen. Essentieel criterium is dat de thema’s relevantie hebben voor de onderwijspraktijk: de onderzoeksresultaten moeten bijdragen aan de verbetering en vernieuwing van het onderwijs.

Het NRO hoort graag van onderzoekers en van professionals uit de onderwijspraktijk en het onderwijsbeleid welke thema’s volgens hen de komende jaren op de agenda moeten staan. U kunt uw ideeën aan de hand van onderstaande vragen tot 15 mei 2013 opsturen naar info@nro.nl.

  1. Beschrijf het thema en het (theoretische, beleidsmatige en/of onderwijspraktijkgerichte) kader waarin dit beschouwd moet worden.
  2. Beschrijf de relevantie van het thema: waarom moet de komende jaren juist naar dit thema onderzoek gedaan worden en voor welke onderwijssector(en) is het (vooral) relevant.
  3. Beschrijf welke partijen (uit onderzoek, praktijk en/of beleid) bij het onderzoek betrokken moeten worden.

Het NRO streeft ernaar alle binnengekomen ideeën deze zomer te inventariseren. Via de website http://www.nro.nl en met een emailbericht aan alle inzenders maakt de Stuurgroep van het NRO na de zomer bekend welke thema’s gekozen zijn voor een eerste onderzoeksprogramma. Naar verwachting kunnen in het najaar bij het NRO subsidieaanvragen worden ingediend voor dit onderzoeksprogramma.

Missie

Het Nationaal Regieorgaan Onderwijsonderzoek (NRO) coördineert de programmering en financiering van onderzoek naar onderwijs.
Het bevordert de wisselwerking tussen onderzoek, praktijk en beleid en de toepassing van onderzoeksresultaten.
Zo draagt het NRO bij aan het verbeteren en vernieuwen van het onderwijs.

www.nro.nl

Vragen over deze oproep kunt u sturen naar: info@nro.nl

Volg

Get every new post delivered to your Inbox.

Join 1.435 other followers

%d bloggers like this: