Michel Delord - Les tests Pisa présentent-ils des problèmes de méthodologie ?

Dans Vaccination contre le PISA-Choc de février 2014, je m’étais bien gardé d’évoquer les critiques portant sur la méthodologie statistique de PISA, me contentant d’évoquer d’autres aspects suffisamment nombreux à mon sens pour justifier une défiance majeure à la fois par rapport à la valeur de PISA et aussi par rapport à la manière dont ces résultats étaient utilisés médiatiquement et politiquement. Je ne m’attendais certes pas à ce que les médias et l’éventail politique s’intéresse à mon point de vue qui met en cause la globalité de leur conception de l’école. Mais il se trouve que même certains auteurs qui montraient le plus souvent un esprit critique par rapport aux thèses de l’OCDE, comme Nico Hirtt, ne sont manifestement pas convaincus par mon analyse et continuent à considérer comme valides les données de cette enquête. Ceci est probablement lié à l’exception française qui fait que l’on ne lit pas dans les medias français les critiques fondamentales contre PISA ce que l’on peut lire dans la presse étrangère, qu’elle soit de droite ou de gauche.

En voici deux exemples, l’un tiré du Times, l’autre du Guardian :
What if you learned that Pisa’s comparisons are not based on a common test, but on different students answering different questions? And what if switching these questions around leads to huge variations in the all-important Pisa rankings, with the UK finishing anywhere between 14th and 30th and Denmark between fifth and 37th? What if these rankings – that so many reputations and billions of pounds depend on, that have so much impact on students and teachers around the world – are in fact “useless”?
Is Pisa fundamentally flawed? in Times Educational Supplement, 2013/07/26.
http://www.tes.co.uk/article.aspx?storycode=6344672

This lack of statistical transparency has also been a focal point of criticism leveled at Pisa and indeed the OECD. The last time they published a technical report to make their methods more open, they weren’t able to make it any more concise than 419 pages.
The Pisa methodology: do its education claims stack up?in The Guardian, 2013/12/03
http://www.theguardian.com/news/2013/dec/03/pisa-methodology-education-oecd-student-performance

M. Delord a écrit:si l’on regarde ce qui se passe en France, on peut effectivement parler d’une exception française au pire sens du terme puisqu’aucun média n’a évoqué ces graves critiques que l’on peut faire à l’étude PISA, l’ensemble des médias et de l’éventail politique suivant aveuglément les conclusions de l’OCDE.

Caspar Goodwood a écrit:J'ai entendu une critique de PISA sur France Inter dans l'émission Service Public, il y en a peut-être eu d'autres ailleurs?