AI Chatbots — including ChatGPT and Gemini — often cheer users on, give them overly flattering feedback and adjust responses to echo their views, sometimes at the expense of accuracy. Researchers analyzing AI behaviours say that this propensity for people-pleasing, known as sycophancy, is affecting how they use AI in scientific research, in tasks from brainstorming ideas and generating hypotheses to reasoning and analyses.
“Sycophancy essentially means that the model trusts the user to say correct things”
No comment yet.
Sign up to comment
Your new post is loading...
Los modelos IA son un 50% más aduladores que los humanos, según un análisis publicado este mes. El estudio examinó cómo 11 modelos LLM utilizados para responder más de 11,500 consultas en busca de consejos, incluidas muchas situaciones que describían irregularidades o daños.
Los chatbots IA ─incluidos ChatGPT y Gemini─ a menudo animan a los usuarios, les dan comentarios demasiado halagadores y ajustan las respuestas para que se hagan eco de sus puntos de vista, a veces a expensas de la precisión generativa. Los investigadores que analizaron los comportamientos de la IA dicen que esta propensión a complacer a las personas, conocida como adulación (sycophancy), está afectando la manera en que usan la IA en la investigación científica, en tareas que van desde la lluvia de ideas y la generación de hipótesis hasta el razonamiento y los análisis.