Evaluations, classements: mythes et réalités
2.9K views | +0 today
Follow
Evaluations, classements: mythes et réalités
Quantifier le qualitatif: une illusion ? Objectiver le subjectif: un leurre ?
Your new post is loading...
Your new post is loading...
Scooped by Bernard Rentier
Scoop.it!

Classements : les habits neufs des universités? | Affaires Universitaires

Classements : les habits neufs des universités? | Affaires Universitaires | Evaluations, classements: mythes et réalités | Scoop.it
Chaque année, le 15 août exactement, de nombreux recteurs – notamment en Europe – sont nerveux à l’idée de découvrir leur position dans le « classement de Shanghai » publié annuellement depuis 2004 et prétendant annoncer la liste des « meilleures...
Bernard Rentier's insight:
Parfaitement vrai !Il est affligeant de voir combien, dans les universités (supposées être un havre d'intelligence et de raison), les comportements des responsables de la gestion ou de la communication institutionnelles (ou des deux) cèdent facilement au dogme de l'évaluation par le simple nombre et du classement qui en résulte. Et c'est souvent, en effet, pour les raisons qu'Yves expose ici. Car s'il existe sûrement des dirigeants académiques qui croient à ces balivernes scientifiquement absurdes, la plupart ne sont certes pas dupes mais font comme l'empereur de l'histoire.Dans un monde où tout repose sur le prestige, les plantureux avantages que ces classements apportent aux mieux classés, la pression journalistique simpliste et l'attrait bien humain pour les hit-parades sont plus forts que la raison et l'objectivité les plus élémentaires...C'est des mieux classés que la contestation doit venir, les autres sont considérés comme de mauvais perdants. Mais un bon classement est si flatteur... Merci Yves de jouer les petits garçons candides !
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Une fraude scientifique ébranle une grande université américaine

Une fraude scientifique ébranle une grande université américaine | Evaluations, classements: mythes et réalités | Scoop.it
Bernard Rentier's insight:
De la conséquence inévitable de la folie du "publish or perish" et de l'évaluation des chercheurs par le nombre de publications et/ou le facteur d'impact cumulé des journaux où ils ont publié, etc. Bref, de la dominance actuelle stupide et trompeuse de la quantité sur la qualité. Mais voilà: juger de la qualité d'une recherche est bien plus difficile et chronophage qu'aligner des chiffres irrelevants et déresponsabilisants.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Mais quand cessera-t-on de donner du crédit aux classements d’universités qui n’ont aucun sens ?

Mais quand cessera-t-on de donner du crédit aux classements d’universités qui n’ont aucun sens ? | Evaluations, classements: mythes et réalités | Scoop.it
Voici revenu le temps des classements. Dans la torpeur de l'été médiatique finissant, cela devient une sorte de tradition.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Mort au facteur d’impact!

Mort au facteur d’impact! | Evaluations, classements: mythes et réalités | Scoop.it
Vincent Larivière publie avec des sommités internationales un article sur les facteurs d’impact des revues savantes. Une mesure à repenser.
Bernard Rentier's insight:
Il faut impérativement bannir l'utilisation du facteur d'impact des journaux scientifiques aux fins d'évaluer la qualité d'un chercheur ou d'une équipe de recherche: scientifiquement, c'est une imposture.Il faut cesser de ramener une personnalité complexe à une seule chiffre. C'est un leurre.Il faut pouvoir admettre qu'évaluer est une tâche lourde et difficile, qui requiert de la part de l'évaluateur de la patience, de la compétence et de l'ouverture d'esprit. Ne doutons pas de ces deux dernières qualités, mais sachons nous résoudre à trouver le temps qu'exige le respect de la (ou des) personne(s) jugée(s).
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Impact factors are not only inappropriate for assessment, but also they appear to be manipulated

Impact factors are not only inappropriate for assessment, but also they appear to be manipulated | Evaluations, classements: mythes et réalités | Scoop.it
Just how widespread are impact factor negotiations? Over the last decade or two, there have been multiple accounts of how publishers have negotiated the impact factors of their journals with the “Institute for Scientific Information”...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Why we should be careful before concluding that things correlate with each other

Why we should be careful before concluding that things correlate with each other | Evaluations, classements: mythes et réalités | Scoop.it
Why do these things correlate? These 15 correlations will blow your mind. (Is this headline sensationalist enough for you to click on it yet?)
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

World's 50 best places to visit

World's 50 best places to visit | Evaluations, classements: mythes et réalités | Scoop.it
Once a blue-collar paradise for coal miners and steelworkers, Liège is the surprising new destination for art and food this summer.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Metrics: how to handle them responsibly

Metrics: how to handle them responsibly | Evaluations, classements: mythes et réalités | Scoop.it
Amid concerns about the growing use – and abuse – of quantitative measures in universities, a major new review examines the role of metrics in the assessment of research, from the REF to performance management...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

The peer review drugs don’t work

The peer review drugs don’t work | Evaluations, classements: mythes et réalités | Scoop.it
Peer review : a process at the heart of science based on faith rather than evidence, says Richard Smith, and vested interests keep it in place
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

What would happen if grant reviews were made public?

Researchers on social media discuss the potential impact of making peer review more transparent.
Bernard Rentier's insight:
Thorough change in scientific publication habits is about to appear in the electronic publishing era : open access, open data, open reviewing...The challenge : remaining fair and credible.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

The Back Page: the High-impact-factor Syndrome

The Back Page: the High-impact-factor Syndrome | Evaluations, classements: mythes et réalités | Scoop.it
You are surprised to find that you have been tasked with evaluating minor-league pitchers eager to get into major-league baseball. You interview applicants, collect information, and observe their performance. But, being a physicist, you know next to nothing about evaluating pitching skill, so to make your life easier, you fix on a single figure of merit, the pitcher’s heat (fastball speed). Although you have access to each applicant’s fastball speed, you elect to rank the candidates in terms of the average speed of all the pitchers on an applicant’s current minor-league team. Using this as a proxy for individual pitching ability, you assemble a pitching staff. As the season wears on, your pitchers are drubbed in game after game. You see the general manager approaching with a frown on his face, and...the alarm goes off.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Les universités occidentales en perte de vitesse, selon le classement « Times Higher Education »

Les universités occidentales en perte de vitesse, selon le classement « Times Higher Education » | Evaluations, classements: mythes et réalités | Scoop.it
Le classement 2014 du Times higher Education ...
Bernard Rentier's insight:

Rien d'étonnant: les pays asiatiques ont compris depuis un certain temps que pour tenir le haut du pavé en matière de réussite économique, il faut tendre à être les meilleurs en recherche, créativité et innovation. Ceci passe nécessairement par un enseignement supérieur des plus performants et pour y arriver, seul un financement public important et même massif compte.

Le financement de l'enseignement supérieur et, c'est plus nouveau, de la recherche, est donc devenu une priorité nationale dans ces pays. Cette politique qui consiste à donner une priorité inconditionnelle à la formation supérieure correspond d'ailleurs exactement à celle des pays dont l'essor a été le plus remarquable ces dernières années et continue de l'être. 

Les moyens financiers accordés aux universités sont donc la clé du développement économique compétitif. Les classements n'en sont le reflet indirect, mais un indicateur intéressant (duquel il faut néanmoins soustraire le facteur favorisant les institutions anglo-américaines et leurs dérivés internationaux, asiatiques en particulier). 

Mais les moyens peuvent provenir d'ailleurs que des gouvernements: voyez plutôt la liste des 10 universités "les mieux classées": leurs droits d'admission pour l'étudiant se situent entre 35.000 et 85.000 US$. Avec cela "il y a moyen de faire"...

On compare donc bien des pommes et des poires.

more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Classement de Shangaï : classer la performance et pas l'enseignement est une ineptie - Le Nouvel Obs

Classement de Shangaï : classer la performance et pas l'enseignement est une ineptie - Le Nouvel Obs | Evaluations, classements: mythes et réalités | Scoop.it
Le Nouvel ObservateurClassement de Shangaï : classer la performance et pas l'enseignement est une ineptie.Le Nouvel ObservateurLE PLUS.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Will the peer review system collapse under its own growing weight ?

Will the peer review system collapse under its own growing weight ? | Evaluations, classements: mythes et réalités | Scoop.it
What do Godzilla and scientific peer review have in common? Each ought to be collapsing under its own weight, yet somehow they stand.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

University rankings ignore teaching - University World News

University rankings ignore teaching - University World News | Evaluations, classements: mythes et réalités | Scoop.it
Surprisingly, despite the enormous activities these rankings have generated in universities and in their international associations worldwide – with multiple conferences and publications debating every aspect of their various ranking criteria – there is no evidence which quantifies, either with academic metrics or philosophical analyses, just what value they are contributing to the world of higher education. The rankings say almost nothing about education.
Bernard Rentier's insight:
University rankings ignore teaching, while that is what they are being used for...!
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Time to remodel the journal impact factor

Time to remodel the journal impact factor | Evaluations, classements: mythes et réalités | Scoop.it
Nature and the Nature journals are diversifying their presentation of performance indicators.
Bernard Rentier's insight:
"whether you are assessing journals or researchers, nothing beats reading the papers and forming your own opinion"
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Will the Teaching Excellence Framework be sexist?

Will the Teaching Excellence Framework be sexist? | Evaluations, classements: mythes et réalités | Scoop.it
The Tef plans to use student evaluation as a key metric in measuring teaching quality. But studies show students are biased towards male lecturers
Bernard Rentier's insight:

With the TEF, it looks like Britain keeps moving on the wrong track with the management of its higher education. The ranking frenzy, linked with funding, has been devastating and it will get worse.
The wrong principles:
1. Establishing the funding of universities on rankings based on highly disputable criteria;
2. Adding new criteria built on highly subjective perceptions.
It is all about the tempting illusion that one can actually MEASURE the unmeasurable, it's the old unreachable myth that QUALITY would somehow be QUANTIFIABLE...

more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

LinkedIn veut secouer les classements des universités

LinkedIn veut secouer les classements des universités | Evaluations, classements: mythes et réalités | Scoop.it
Le Monde.fr version mobile - Le puissant réseau social professionnel, qui revendique 400 millions d’abonnés à travers la planète, propose de mesurer la valeur d’un établissement en fonction de la carrière de ses diplômés.
Bernard Rentier's insight:
Tout classement implique un (ou plusieurs) biais. Il est même impossible de classer sans se fonder sur un (ou des) critère(s) et sans négliger les autres. On ne peut réduire l'immense complexité d'une université à un seul chiffre, avec plusieurs décimales, ce qui est pourtant la condition essentielle pour aboutir à un classement. Même si on annonce clairement la couleur (ici, la carrière des diplômés), le critère ne peut qu'être basé sur une illusion (ici, celle qui laisse penser qu'on peut réduire la qualité d'une trajectoire professionnelle à un chiffre et trois décimales...).Le classement universel n'est donc pas né, et il est loin de naître, En attendant, ceux qui possèdent les "big data" et en premier lieu les "réseaux sociaux" sont en position de laisser croire que, détenteurs d'une multitude de données (par ailleurs crowdsourcées, avec les risques d'imprécision voire de fantasmes que cela implique en matière de qualifications, diplômes et titres acquis et de fonctions exercées), ils sont en mesure d'en tirer des conclusions significatives pour l'orientation d'un individu...Un peu de réalisme amène à comprendre l'immense bénéfice que peut générer la vente de ces informations et du traitement qui en est fait, en se basant sur l'éternelle crédulité dont font preuve les humains par rapport à "la vérité du chiffre". Un pactole.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Denouncing the IF (imposter factor)

Denouncing the IF (imposter factor) | Evaluations, classements: mythes et réalités | Scoop.it
In 2013, the American Society for Cell Biology and several scientific journals launched the San Francisco Declaration on Research Assessment, DORA, meant to put an end to the ridiculously unscientific practice of using the impact factor of journals...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Nobel laureate Randy Schekman on how journals like Nature, Cell and Science are damaging science

Nobel laureate Randy Schekman on how journals like Nature, Cell and Science are damaging science | Evaluations, classements: mythes et réalités | Scoop.it
Randy Schekman: "The incentives offered by top journals distort science, just as big bonuses distort banking"
Bernard Rentier's insight:
The only honest way to evaluate researchers and research teams is on the quality of their work, not through the distorting prism of who publishes it. Harder but more fair and more responsible.
more...
Gilbert C FAURE's curator insight, September 3, 2015 5:25 AM

it was 2013

any change since?

Fesquet didier's curator insight, September 4, 2015 7:35 AM

pas d'issue tant que les comites d'evaluation ne jureront que par "NCS".

Scooped by Bernard Rentier
Scoop.it!

How to measure a scientist

How to measure a scientist | Evaluations, classements: mythes et réalités | Scoop.it
I've just received a nice e-mail telling me that it's time for my annual judging session - also know as my Personal Development Review. This kind of thing has so many different titles (performance ...
Bernard Rentier's insight:
��
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Des dangers de l'hyper-évaluation (Le Monde diplomatique, mai 2013)

Des dangers de l'hyper-évaluation (Le Monde diplomatique, mai 2013) | Evaluations, classements: mythes et réalités | Scoop.it

Parfois décrit comme une maladie de civilisation, le syndrome d'épuisement professionnel touche particulièrement les travailleurs les plus zélés. Les exigences du management aboutissent à dénaturer l'activité et à en déposséder ceux qui l'exercent.

more...
Gilbert C FAURE's comment, April 15, 2015 3:23 AM
d'autant que beaucoup d'évaluateurs scientifiques professionnels autodéclarés usent de l'outil comme d'une arme d'autoattribution, particulièrement dans le contexte actuel de pénurie financière
Scooped by Bernard Rentier
Scoop.it!

The growing peer reviewing malaise: Elsevier retracting 16 papers for faked peer review - Retraction Watch

Fake peer reviews: They’re all the rage.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Pour ou contre l'évaluation par des notes ? - ladepeche.fr

Quelle différence voyez vous entre notation et évaluation ? Tout enfant a besoin d'être évalué. Il a besoin du regard de l'adulte qui sait et lui dit comment il peut progresser. L'évaluation est une chose, la notation en est une autre.
Bernard Rentier's insight:
À lire également, un classique:http://orbi.ulg.ac.be/bitstream/2268/174241/1/Faut-il%20supprimer%20les%20examens%20universitaires.pdf
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Recul des universités belges dans un classement britannique

La KUL, qui occupe la 82e position, perd cinq places par rapport au classement 2013. Pratiquement toutes les autres reculent également.

Bernard Rentier's insight:

   Vu l'importance du taux d'encadrement (enseignants/étudiants) dans ce classement et la chute de ce taux dans nos universités (stagnation de la subvention publique & augmentation du nombre d'étudiants), le recul général n'est pas étonnant, hélas.

   L'arrivee de plus en plus fréquente en haut de classement des universités asiatiques considérablement subventionnées par leurs gouvernements rend la compétition de plus en plus dure.

   Inutile d'espérer la satisfaction chauvine d'une remontée dans les classements sans qu'un refinancement massif ne soit consenti.

   Le secret du MIT, de Harvard, Yale et consorts, c'est une sélection drastique et des droits d'admission extrêmement élevés, deux principes que nul ne veut voir instaurer chez nous. Le revers de la médaille, c'est le recul dans les rankings... Il faut savoir ce qu'on veut et arrêter d'exiger tout et son contraire.

   On ne peut attendre une victoire en régate d'un esquif surchargé.

more...
No comment yet.