Half of the Statistics in Visible Learning are wrong (Part 2)

In this second post about the statistics in ‘Visible Learning’, the author, British mathematician Ollieorange2, asks some uncomfortable questions about the self-correcting capacity of the education science community.

For me, two questions remain:

  • If half of the statistics are wrong, how does that affect the recommendations to teachers based on those statistics, and
  • How much of the other half is reliable?

Originally posted on ollieorange2.
______________________

In an earlier post we discovered that John Hattie had admitted (quietly) that half of the Statistics in Visible Learning were incorrect. John Hattie uses two statistics in the book, the ‘Effect Size’ and the ‘CLE’. All of the CLEs are wrong through-out the book.

Now, I didn’t really know why they were wrong, I thought, maybe he was using a computer program to calculate them and it had been set up incorrectly. I didn’t know. Until I received this comment from Per-Daniel Liljegren. He was giving a seminar on Visible Learning for some teachers in Sweden and didn’t understand some of what he’d found, so, he wrote to Debra Masters, Director of Visible Learning Plus, asking for help.

“Now, when preparing the very first seminar, I was very puzzled over the CLEs in Hattie’s Visible Learning. It seems to me that most of the CLEs are simply the Effect Size, d, divided by the square root of 2.

Should not the CLE be some integral from -infinity to d divided by the square root of 2?”

And if you grab your copy of Visible Learning and check, he’s right! The CLEs are just the Effect Size divided by the square root of 2.

He never received a reply to his letter.

Read more here

About Dick van der Wateren

Ik sta voor de klas op het Eerste Christelijk Lyceum in Haarlem en begeleid dagelijks talentvolle en begaafde leerlingen die meer uitdaging nodig hebben, of coach leerlingen die een probleem hebben waar we samen een oplossing voor vinden. Daarnaast ontwikkel ik digitaal lesmateriaal en video's voor Flip de Klas. Buiten het onderwijs heb ik een jarenlange ervaring als aardwetenschapper (o.a. in Antarctica en Afrika) en wetenschapsvoorlichter. Werken met jongeren is mijn passie. Voor mij zijn pubers zo'n beetje de leukste mensen. Ze hebben een enorme levenslust, zijn creatief, hebben originele ideeën - soms op het bizarre af - en kunnen zich nog alle kanten op ontwikkelen. Ik beschouw het als een voorrecht aan die ontwikkeling te kunnen bijdragen.

Trackbacks/Pingbacks

  1. Hattie’s research: egregious errors | Blogcollectief Onderzoek Onderwijs - 5 december 2014

    […] of methodological flaws in Hattie’s research (see earlier posts on this blog here and here). In addition, he is critical of the connection between Hattie’s rsearch and the neoliberal […]

    Like

Geef een reactie of deel je eigen ervaringen. Graag met je eigen naam ondertekenen, geen pseudoniemen. Anonieme reacties worden verwijderd.

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: