One Hundred Years of Research on Grading – Marshall Memo

Ik ben betalende abonnee van de Marshall Memo. Deze Memo, gepubliceerd sinds 2003 door Kim Marshall, is ontworpen om schoolhoofden, docenten, onderwijsbeleidsmakers, enzovoorts op de hoogte/goedgeïnformeerd te houden over onderwijsrelevant onderzoek en ‘best practices’. Kim maakt gebruik van zijn ervaring als docent, schoolhoofd, bovenschoolse leider, onderwijsbestuurder en onderwijsconsulent om het werk van anderen lichter te maken door op te treden als een soort “aangewezen-lezer.” In het kader van mijn reproductie van zijn werk, zegt Kim, dat men mag individuele samenvattingen uit zijn Memo verspreiden indien zowel de Marshall Memo als de originele bronnen en auteurs vermeld zijn. Dus, bij dezen.

In zijn nieuwe Memo stond een samenvatting van het volgende onderzoek dat gepubliceerd werd in Review of Educational Research (referentie onderaan). Hoewel het in het Engels is (sorry, geen tijd om het te vertalen), denk ik dat het voor docenten en schoolhoofden maar ook medewerkers in het HO.

In this Review of Educational Research article, Susan Brookhart (Duquesne University), Thomas Guskey (University of Kentucky), Alex Bowers (Columbia University), James McMillan (Virginia Commonwealth University), Jeffrey Smith and Lisa Smith (University of Otago), and Michael Stevens and Megan Welsh (University of California/Davis) review a century of research on grading practices. Some key conclusions:

  • Grades convey important information. Over the years, grades have been maligned by researchers and psychometricians as subjective and unreliable measures of student achievement. Actually, grades are useful indicators of things that matter to students, teachers, parents, schools, and communities, and they are more accurate predictors of high-school completion and transition to college than standardized test scores. In addition, when grades are aggregated from individual pieces of student work to report card or course grades and GPA, their reliability increases. For example, the reliability of overall college grade-point averages is estimated at .93.
  • Grades are multidimensional. They often include noncognitive information that teachers value, including effort, motivation, improvement, work habits, attention, engagement, participation, and behavior. That’s probably why grades are more accurate than test scores at predicting downstream success; it’s now clear that noncognitive factors play an important role. (“Although noncognitive skills may help students develop cognitive skills,” say the authors, “the reverse is not true”). Teachers typically distinguish between noncognitive factors and academic ability on the one hand and other factors they believe should not be factors in grading: gender, socioeconomic status, and personality.
  • Grades have a subjective element. Each teacher’s values come into play, including a desire to help all students be successful and wanting to be fair – i.e., the feeling that kids who worked hard shouldn’t fail, even if they haven’t learned. “Although measurement experts and professional developers may wish grades were unadulterated measures of what students have learned and are able to do,” say the authors, “strong evidence indicates that they are not.” Over the years, researchers have attributed variations in teachers’ grades to a number of factors: the rigor of the learning task; the actual quality of student work; the grading criteria; the grading scale; how strict or lenient the teacher was; and teacher error.
  • Transparency is important. Problems arise when teachers aren’t clear with students, parents, and colleagues about what goes into grades. When that happens, grades can convey inaccurate and misleading information.
  • Grading practices have improved. Early researchers found fault with teachers for giving different grades to the same piece of student work. But teachers in these studies were often flying blind; they weren’t given the grading criteria. Recent studies have shown that with clear rubrics and proper training, teachers can achieve an impressive level of inter-rater reliability.
  • Grades are only the tip of the iceberg. What could explain why students who tried hard didn’t master the intended learning outcomes? There are several possibilities:
    • The learning goals were developmentally inappropriate.
    • Students lacked readiness or appropriate prior instruction to master the material.
    • The teacher didn’t make clear what students were expected to learn.
    • The curriculum materials weren’t appropriate.
    • The teacher didn’t instruct students in appropriate ways, including using formative assessments to catch learning problems and help struggling students in real time.

In other words, say the authors, “Research focusing solely on grades typically misses antecedent causes. Future research should make these connections… Investigating grading in the larger context of instruction and assessment will help focus research on important sources and causes of invalid or unreliable grading decisions.”

Brookhart, S., Guskey, T., Bowers, A., McMillan, J.,  Smith, J., Smith, L., Stevens, M., & Welsh, M. (2016). A century of grading research: meaning and value in the most common educational measure. Review of Educational Research, 86, 803-848. http://bit.ly/2i31I1D; Brookhart can be reached at brookhart@duq.edu.

About Paul Kirschner

Paul A. Kirschner is Universiteishoogleraar aan de Open Universiteit. Daarvoor was hij hoogleraar Onderwijspsychologie en directeur van het Fostering Effective, Efficient and Enjoyable Learning environments (FEEEL) programma aan het Welten-instituut (OU).. Hij is ook Visiting Professor Onderwijs met een leerstoel in Leren en Interactie in de Lerarenopleiding aan Oulu University (Finland). Hij is een internationaal erkende expert op zijn gebied en heeft zitting gehad in de Onderwijsraad in de periode 2000-2004 en is tegenwoordig lid van de Wetenschappelijk Technische Raad van SURF. Hij was President van de International Society for the Learning Sciences (ISLS) in de periode 2010-2011 en is tevens Fellow van de American Educational Research Association (en de eerste Europeaan die deze eer ontving). Hij is redacteur bij de hoog aangeschreven wetenschappelijke tijdschriften Journal of Computer Assisted Learning en Computers in Human Behavior, en hij is auteur van Ten steps to complex learning (Routledge/Erlbaum). Hij schrift ook regelmatig voor Didactief (de kolom KirschnerKiest over wat docenten kunnen met wetenschappelijke resultaten) en voor Van 12-18. In maart verscheen zijn nieuwe boek Urban Myths about Learning and Education. Hij wordt gezien als expert op veel gebieden en vooral computerondersteund samenwerkend leren (CSCL), het ontwerpen van innovatieve, elektronische leeromgevingen, mediagebruik in het onderwijs en het verwerven van complex cognitieve vaardigheden.

3 Reacties to “One Hundred Years of Research on Grading – Marshall Memo”

  1. 100 Jaar onderzoek zó helder en bondig samenvatten voor de praktijk is kunst. Een ‘kunststukje’. Genieten dus 🙂

    Like

  2. Een overzichtsartikel over honderd jaar onderzoek over ‘grading’ of evalueren is een huzarenstuk en erg interessant voor iedereen die onderzoek doet over evalueren.
    Een eerste interessante conclusie is dat het evalueren door de klasleraar een betere voorspeller is van toekomstig succes omdat de leraar in zijn subjectiviteit een heleboel belangrijke talenten en competenties zoals doorzettingsvermogen, diplomatie … van de leerling mee in rekening neemt. Terwijl objectievere systemen zoals een centraal examen dit juist niet doen. Laat de subjectieve leraar maar een zo volledig mogelijk beeld van de leerling mee in rekening nemen. Laat dus zeker de naam van de student staan, verbeter niet vraag per vraag, denk na wat de student bedoeld zou kunnen hebben…
    Een tweede conclusie die ik ten volle kan bijtreden is het aspect van transparantie. Veel leerkrachten hebben de vervelende neiging om in examens eens anders te doen dan tijdens de les. Studenten leren voor hun toetsen en examens zoals ze verwachten dat de leerkracht zal evalueren. Het is erg ontmoedigend als dat leren voor niets was. Correct inschatten wat de leraar zal vragen is trouwens een heel belangrijke les op gebied van ‘theory of mind’. Zij leren denken hoe de leraar denkt over zijn cursus.
    Ten slotte is zeker de conclusie dat ‘grades’ slecht het topje van de ijsberg zijn meer dan waar. Het zou in onderwijs niet over evalueren maar over leren moeten gaan. Een van de mogelijke antwoorden op de vraag ‘waarom beheersen de studenten de leerstof niet terwijl ze toch hun best deden’ zou wel eens kunnen zijn dat ze leerden in functie van de evaluatie en niet omdat ze iets wilden leren. Ik ben benieuwd of honderd jaar onderzoek over evaluatie hier ook op focust.
    Sander Van Acker

    Like

Trackbacks/Pingbacks

  1. One Hundred Years of Research on Grading – Marshall Memo | MetisMatters - 6 januari 2017

    […] Source: One Hundred Years of Research on Grading – Marshall Memo […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je volledige naam en achternaam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: