Evaluations, classements: mythes et réalités

"whether you are assessing journals or researchers, nothing beats reading the papers and forming your own opinion"

With the TEF, it looks like Britain keeps moving on the wrong track with the management of its higher education. The ranking frenzy, linked with funding, has been devastating and it will get worse.
The wrong principles:
1. Establishing the funding of universities on rankings based on highly disputable criteria;
2. Adding new criteria built on highly subjective perceptions.
It is all about the tempting illusion that one can actually MEASURE the unmeasurable, it's the old unreachable myth that QUALITY would somehow be QUANTIFIABLE...

Tout classement implique un (ou plusieurs) biais. Il est même impossible de classer sans se fonder sur un (ou des) critère(s) et sans négliger les autres. On ne peut réduire l'immense complexité d'une université à un seul chiffre, avec plusieurs décimales, ce qui est pourtant la condition essentielle pour aboutir à un classement. Même si on annonce clairement la couleur (ici, la carrière des diplômés), le critère ne peut qu'être basé sur une illusion (ici, celle qui laisse penser qu'on peut réduire la qualité d'une trajectoire professionnelle à un chiffre et trois décimales...).Le classement universel n'est donc pas né, et il est loin de naître, En attendant, ceux qui possèdent les "big data" et en premier lieu les "réseaux sociaux" sont en position de laisser croire que, détenteurs d'une multitude de données (par ailleurs crowdsourcées, avec les risques d'imprécision voire de fantasmes que cela implique en matière de qualifications, diplômes et titres acquis et de fonctions exercées), ils sont en mesure d'en tirer des conclusions significatives pour l'orientation d'un individu...Un peu de réalisme amène à comprendre l'immense bénéfice que peut générer la vente de ces informations et du traitement qui en est fait, en se basant sur l'éternelle crédulité dont font preuve les humains par rapport à "la vérité du chiffre". Un pactole.

��

Challenging impact factors, h factors, university rankings and all that metricsmania.

Parfaitement vrai !Il est affligeant de voir combien, dans les universités (supposées être un havre d'intelligence et de raison), les comportements des responsables de la gestion ou de la communication institutionnelles (ou des deux) cèdent facilement au dogme de l'évaluation par le simple nombre et du classement qui en résulte. Et c'est souvent, en effet, pour les raisons qu'Yves expose ici. Car s'il existe sûrement des dirigeants académiques qui croient à ces balivernes scientifiquement absurdes, la plupart ne sont certes pas dupes mais font comme l'empereur de l'histoire.Dans un monde où tout repose sur le prestige, les plantureux avantages que ces classements apportent aux mieux classés, la pression journalistique simpliste et l'attrait bien humain pour les hit-parades sont plus forts que la raison et l'objectivité les plus élémentaires...C'est des mieux classés que la contestation doit venir, les autres sont considérés comme de mauvais perdants. Mais un bon classement est si flatteur... Merci Yves de jouer les petits garçons candides !

De la conséquence inévitable de la folie du "publish or perish" et de l'évaluation des chercheurs par le nombre de publications et/ou le facteur d'impact cumulé des journaux où ils ont publié, etc. Bref, de la dominance actuelle stupide et trompeuse de la quantité sur la qualité. Mais voilà: juger de la qualité d'une recherche est bien plus difficile et chronophage qu'aligner des chiffres irrelevants et déresponsabilisants.

Il faut impérativement bannir l'utilisation du facteur d'impact des journaux scientifiques aux fins d'évaluer la qualité d'un chercheur ou d'une équipe de recherche: scientifiquement, c'est une imposture.Il faut cesser de ramener une personnalité complexe à une seule chiffre. C'est un leurre.Il faut pouvoir admettre qu'évaluer est une tâche lourde et difficile, qui requiert de la part de l'évaluateur de la patience, de la compétence et de l'ouverture d'esprit. Ne doutons pas de ces deux dernières qualités, mais sachons nous résoudre à trouver le temps qu'exige le respect de la (ou des) personne(s) jugée(s).