Evaluations, classements: mythes et réalités
3.1K views | +0 today
Follow
Evaluations, classements: mythes et réalités
Quantifier le qualitatif: une illusion ? Objectiver le subjectif: un leurre ?
Your new post is loading...
Your new post is loading...
Scooped by Bernard Rentier
Scoop.it!

Oh No We Are Number One: On Being Ranked 1st In The World

“Communication Science & Media Studies ranked 1st in the world” headlined the press release of the University of Amsterdam on 28 February 2018, immediately followed with the curious qualifier that we…
Bernard Rentier's insight:
International rankings are the decadence of universities. They are based on computational methods that should give goosebumps to any well-trained academic. Their use for any purpose should be banned.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

‪Evaluation of Research Careers fully acknowledging Open Science Practices - Rewards, incentives and/or recognition for researchers practicing Open Science

more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

"Tread carefully with altmetrics", expert advisory group led by @jameswilsdon tells @EU_Commission @timeshighered

Transparency is crucial to the introduction of new metrics in Europe's research system
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Will the peer review system collapse under its own growing weight ?

Will the peer review system collapse under its own growing weight ? | Evaluations, classements: mythes et réalités | Scoop.it
What do Godzilla and scientific peer review have in common? Each ought to be collapsing under its own weight, yet somehow they stand.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

University rankings ignore teaching - University World News

University rankings ignore teaching - University World News | Evaluations, classements: mythes et réalités | Scoop.it
Surprisingly, despite the enormous activities these rankings have generated in universities and in their international associations worldwide – with multiple conferences and publications debating every aspect of their various ranking criteria – there is no evidence which quantifies, either with academic metrics or philosophical analyses, just what value they are contributing to the world of higher education. The rankings say almost nothing about education.
Bernard Rentier's insight:
University rankings ignore teaching, while that is what they are being used for...!
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Time to remodel the journal impact factor

Time to remodel the journal impact factor | Evaluations, classements: mythes et réalités | Scoop.it
Nature and the Nature journals are diversifying their presentation of performance indicators.
Bernard Rentier's insight:
"whether you are assessing journals or researchers, nothing beats reading the papers and forming your own opinion"
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Will the Teaching Excellence Framework be sexist?

Will the Teaching Excellence Framework be sexist? | Evaluations, classements: mythes et réalités | Scoop.it
The Tef plans to use student evaluation as a key metric in measuring teaching quality. But studies show students are biased towards male lecturers
Bernard Rentier's insight:

With the TEF, it looks like Britain keeps moving on the wrong track with the management of its higher education. The ranking frenzy, linked with funding, has been devastating and it will get worse.
The wrong principles:
1. Establishing the funding of universities on rankings based on highly disputable criteria;
2. Adding new criteria built on highly subjective perceptions.
It is all about the tempting illusion that one can actually MEASURE the unmeasurable, it's the old unreachable myth that QUALITY would somehow be QUANTIFIABLE...

more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

LinkedIn veut secouer les classements des universités

LinkedIn veut secouer les classements des universités | Evaluations, classements: mythes et réalités | Scoop.it
Le Monde.fr version mobile - Le puissant réseau social professionnel, qui revendique 400 millions d’abonnés à travers la planète, propose de mesurer la valeur d’un établissement en fonction de la carrière de ses diplômés.
Bernard Rentier's insight:
Tout classement implique un (ou plusieurs) biais. Il est même impossible de classer sans se fonder sur un (ou des) critère(s) et sans négliger les autres. On ne peut réduire l'immense complexité d'une université à un seul chiffre, avec plusieurs décimales, ce qui est pourtant la condition essentielle pour aboutir à un classement. Même si on annonce clairement la couleur (ici, la carrière des diplômés), le critère ne peut qu'être basé sur une illusion (ici, celle qui laisse penser qu'on peut réduire la qualité d'une trajectoire professionnelle à un chiffre et trois décimales...).Le classement universel n'est donc pas né, et il est loin de naître, En attendant, ceux qui possèdent les "big data" et en premier lieu les "réseaux sociaux" sont en position de laisser croire que, détenteurs d'une multitude de données (par ailleurs crowdsourcées, avec les risques d'imprécision voire de fantasmes que cela implique en matière de qualifications, diplômes et titres acquis et de fonctions exercées), ils sont en mesure d'en tirer des conclusions significatives pour l'orientation d'un individu...Un peu de réalisme amène à comprendre l'immense bénéfice que peut générer la vente de ces informations et du traitement qui en est fait, en se basant sur l'éternelle crédulité dont font preuve les humains par rapport à "la vérité du chiffre". Un pactole.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Denouncing the IF (imposter factor)

Denouncing the IF (imposter factor) | Evaluations, classements: mythes et réalités | Scoop.it
In 2013, the American Society for Cell Biology and several scientific journals launched the San Francisco Declaration on Research Assessment, DORA, meant to put an end to the ridiculously unscientific practice of using the impact factor of journals...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Nobel laureate Randy Schekman on how journals like Nature, Cell and Science are damaging science

Nobel laureate Randy Schekman on how journals like Nature, Cell and Science are damaging science | Evaluations, classements: mythes et réalités | Scoop.it
Randy Schekman: "The incentives offered by top journals distort science, just as big bonuses distort banking"
Bernard Rentier's insight:
The only honest way to evaluate researchers and research teams is on the quality of their work, not through the distorting prism of who publishes it. Harder but more fair and more responsible.
more...
Gilbert C FAURE's curator insight, September 3, 2015 5:25 AM

it was 2013

any change since?

Fesquet didier's curator insight, September 4, 2015 7:35 AM

pas d'issue tant que les comites d'evaluation ne jureront que par "NCS".

Scooped by Bernard Rentier
Scoop.it!

How to measure a scientist

How to measure a scientist | Evaluations, classements: mythes et réalités | Scoop.it
I've just received a nice e-mail telling me that it's time for my annual judging session - also know as my Personal Development Review. This kind of thing has so many different titles (performance ...
Bernard Rentier's insight:
��
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Des dangers de l'hyper-évaluation (Le Monde diplomatique, mai 2013)

Des dangers de l'hyper-évaluation (Le Monde diplomatique, mai 2013) | Evaluations, classements: mythes et réalités | Scoop.it

Parfois décrit comme une maladie de civilisation, le syndrome d'épuisement professionnel touche particulièrement les travailleurs les plus zélés. Les exigences du management aboutissent à dénaturer l'activité et à en déposséder ceux qui l'exercent.

more...
Gilbert C FAURE's comment, April 15, 2015 3:23 AM
d'autant que beaucoup d'évaluateurs scientifiques professionnels autodéclarés usent de l'outil comme d'une arme d'autoattribution, particulièrement dans le contexte actuel de pénurie financière
Scooped by Bernard Rentier
Scoop.it!

The growing peer reviewing malaise: Elsevier retracting 16 papers for faked peer review - Retraction Watch

Fake peer reviews: They’re all the rage.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Overpowered Metrics Eat Underspecified Goals (via @ArneBab)

Overpowered Metrics Eat Underspecified Goals (via @ArneBab) | Evaluations, classements: mythes et réalités | Scoop.it
Or how poorly defined goals are serving the illegitimate superpower of metrics.
Bernard Rentier's insight:
Challenging impact factors, h factors, university rankings and all that metricsmania.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

The Open Access Interviews: Justin Flatt on the Self-Citation Index

The Open Access Interviews: Justin Flatt on the Self-Citation Index | Evaluations, classements: mythes et réalités | Scoop.it
In a recently published paper , Justin Flatt and his two co-authors proposed the creation of the Self-Citation Index, or s-index.
Bernard Rentier's insight:
Current evaluation procedures encourage excessive autocitations at the disadvantage of more principled researchers and of women (on average less self-serving than men).
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Classements : les habits neufs des universités? | Affaires Universitaires

Classements : les habits neufs des universités? | Affaires Universitaires | Evaluations, classements: mythes et réalités | Scoop.it
Chaque année, le 15 août exactement, de nombreux recteurs – notamment en Europe – sont nerveux à l’idée de découvrir leur position dans le « classement de Shanghai » publié annuellement depuis 2004 et prétendant annoncer la liste des « meilleures...
Bernard Rentier's insight:
Parfaitement vrai !Il est affligeant de voir combien, dans les universités (supposées être un havre d'intelligence et de raison), les comportements des responsables de la gestion ou de la communication institutionnelles (ou des deux) cèdent facilement au dogme de l'évaluation par le simple nombre et du classement qui en résulte. Et c'est souvent, en effet, pour les raisons qu'Yves expose ici. Car s'il existe sûrement des dirigeants académiques qui croient à ces balivernes scientifiquement absurdes, la plupart ne sont certes pas dupes mais font comme l'empereur de l'histoire.Dans un monde où tout repose sur le prestige, les plantureux avantages que ces classements apportent aux mieux classés, la pression journalistique simpliste et l'attrait bien humain pour les hit-parades sont plus forts que la raison et l'objectivité les plus élémentaires...C'est des mieux classés que la contestation doit venir, les autres sont considérés comme de mauvais perdants. Mais un bon classement est si flatteur... Merci Yves de jouer les petits garçons candides !
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Une fraude scientifique ébranle une grande université américaine

Une fraude scientifique ébranle une grande université américaine | Evaluations, classements: mythes et réalités | Scoop.it
Bernard Rentier's insight:
De la conséquence inévitable de la folie du "publish or perish" et de l'évaluation des chercheurs par le nombre de publications et/ou le facteur d'impact cumulé des journaux où ils ont publié, etc. Bref, de la dominance actuelle stupide et trompeuse de la quantité sur la qualité. Mais voilà: juger de la qualité d'une recherche est bien plus difficile et chronophage qu'aligner des chiffres irrelevants et déresponsabilisants.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Mais quand cessera-t-on de donner du crédit aux classements d’universités qui n’ont aucun sens ?

Mais quand cessera-t-on de donner du crédit aux classements d’universités qui n’ont aucun sens ? | Evaluations, classements: mythes et réalités | Scoop.it
Voici revenu le temps des classements. Dans la torpeur de l'été médiatique finissant, cela devient une sorte de tradition.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Mort au facteur d’impact!

Mort au facteur d’impact! | Evaluations, classements: mythes et réalités | Scoop.it
Vincent Larivière publie avec des sommités internationales un article sur les facteurs d’impact des revues savantes. Une mesure à repenser.
Bernard Rentier's insight:
Il faut impérativement bannir l'utilisation du facteur d'impact des journaux scientifiques aux fins d'évaluer la qualité d'un chercheur ou d'une équipe de recherche: scientifiquement, c'est une imposture.Il faut cesser de ramener une personnalité complexe à une seule chiffre. C'est un leurre.Il faut pouvoir admettre qu'évaluer est une tâche lourde et difficile, qui requiert de la part de l'évaluateur de la patience, de la compétence et de l'ouverture d'esprit. Ne doutons pas de ces deux dernières qualités, mais sachons nous résoudre à trouver le temps qu'exige le respect de la (ou des) personne(s) jugée(s).
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Impact factors are not only inappropriate for assessment, but also they appear to be manipulated

Impact factors are not only inappropriate for assessment, but also they appear to be manipulated | Evaluations, classements: mythes et réalités | Scoop.it
Just how widespread are impact factor negotiations? Over the last decade or two, there have been multiple accounts of how publishers have negotiated the impact factors of their journals with the “Institute for Scientific Information”...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Why we should be careful before concluding that things correlate with each other

Why we should be careful before concluding that things correlate with each other | Evaluations, classements: mythes et réalités | Scoop.it
Why do these things correlate? These 15 correlations will blow your mind. (Is this headline sensationalist enough for you to click on it yet?)
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

World's 50 best places to visit

World's 50 best places to visit | Evaluations, classements: mythes et réalités | Scoop.it
Once a blue-collar paradise for coal miners and steelworkers, Liège is the surprising new destination for art and food this summer.
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

Metrics: how to handle them responsibly

Metrics: how to handle them responsibly | Evaluations, classements: mythes et réalités | Scoop.it
Amid concerns about the growing use – and abuse – of quantitative measures in universities, a major new review examines the role of metrics in the assessment of research, from the REF to performance management...
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

The peer review drugs don’t work

The peer review drugs don’t work | Evaluations, classements: mythes et réalités | Scoop.it
Peer review : a process at the heart of science based on faith rather than evidence, says Richard Smith, and vested interests keep it in place
more...
No comment yet.
Scooped by Bernard Rentier
Scoop.it!

What would happen if grant reviews were made public?

Researchers on social media discuss the potential impact of making peer review more transparent.
Bernard Rentier's insight:
Thorough change in scientific publication habits is about to appear in the electronic publishing era : open access, open data, open reviewing...The challenge : remaining fair and credible.
more...
No comment yet.