De kracht van de PISA-onderzoeken is dat je over de verschillende testrondes heen kan vergelijken. Maar wat als dat niet meer kan? Dan kan je dus niet met zekerheid zeggen of een regio nu beter of slechter scoort ten opzichte van zichzelf. Dat zou dus een kleine ramp kunnen betekenen, want waar er al eerder bedenkingen waren bij de vergelijkingen over landen heen, was de herhaalde afname bij dezelfde regio’s op zich zeer waardevol.

Maar… misschien is die ramp dus wel degelijk gebeurd. Ik schreef het zelf al in december net na de vrijgave van de resultaten dat er iets ingrijpends veranderd was: men switchte van papier naar computer-afname. Eigen onderzoek van de OESO suggereerde toen al dat dit voor vertekening kon zorgen, maar dit werd bij de release van rapporten niet echt als relevant meegegeven.

Nu geeft PISA-topman Schleicher toe dat het misschien wel degelijk een rol kan hebben gespeeld in een interview met TES. Mooi, maar dit betekent dus dat Zweden misschien onterecht opgelucht adem haalde, dat Slovenië niet per se het nieuwe Finland is, enz.