Notebook or My Personal Learning Network

L'IA en santé : Entre cadre éthique rigide et innovation agile ⚖️

L’infographie du jour se penche sur le monumental "Code de Conduite pour l'IA" (AICC) fraîchement publié par la National Academy of Medicine.
Un document clé qui tente d'harmoniser les règles du jeu pour une adoption responsable de l'IA.

Comme toujours, ce sujet mérite une double lecture.

🧬 IAtus (La version Narrative & Constructive) Ce code est la pierre angulaire qui manquait pour passer de la méfiance à la confiance.

Le rapport propose un modèle de leadership fascinant : le "Tight-Loose-Tight".
1️⃣ Tight (Serré) : On s'aligne d'abord sur des valeurs non négociables (les 6 engagements du code : Advance Humanity, Ensure Equity, Engage Impacted Individuals...).
2️⃣ Loose (Souple) : On laisse ensuite la liberté nécessaire à l'innovation locale et à l'adaptation sur le terrain.
3️⃣ Tight (Serré) : On resserre la vis sur le monitoring et l'évaluation des résultats réels. C'est la promesse d'un "Système de Santé Apprenant" où l'IA n'est pas une fin, mais un moyen de restaurer la connexion humaine.

⚠️ IAtrogénique (La version Critique & Analytique) Le cadre est beau, mais la réalité est brutale.

Le rapport lui-même admet des tensions éthiques inhérentes difficiles à résoudre.
• Être Transparent peut nuire à la Sécurité (ouvrir la "boîte noire" expose à des risques).
• Vouloir être Adaptatif (apprentissage continu) entre en conflit avec la Responsabilité (qui est responsable quand l'algorithme change tout seul ?).
• La phase "Loose" (implémentation locale) risque de creuser la fracture numérique si les petites structures n'ont pas les ressources pour suivre.

Sans surveillance stricte, l'IA risque de simplement automatiser les biais existants du système de santé.

📥 Pour aller plus loin : Ce post ne gratte que la surface. Pour des analyses approfondies sur l'intersection IA, Digital et Santé, abonnez-vous à ma newsletter : https://lnkd.in/eENTNBWR

📄 Source du document : An Artificial Intelligence Code of Conduct for Health and Medicine: Essential Guidance for Aligned Action Publié par la National Academy of Medicine (NAM), Washington, DC. 🔗 Lien direct vers la publication : https://lnkd.in/eRQFvFgF
#IAtrogénique #IAtus #SantéNumérique #IA #EthiqueIA #DigitalHealth #NAM

L’essor rapide de l’intelligence artificielle et du machine learning dans la santé ouvre de nouvelles perspectives pour améliorer le diagnostic, automatiser certaines tâches et soutenir la médecine de précision. Cependant, leur intégration dans la pratique clinique soulève de nombreuses questions liées à la sécurité, à l’éthique, à la transparence des algorithmes et à la protection des données. Les cadres réglementaires jouent donc un rôle essentiel pour garantir que ces technologies soient développées et utilisées de manière sûre, fiable et responsable, tout en favorisant la confiance des professionnels et des patients.

Dans la plupart des systèmes de santé, les outils d’IA destinés à un usage clinique sont considérés comme des logiciels médicaux (Software as a Medical Device – SaMD) et doivent suivre des processus d’évaluation réglementaire similaires à ceux des dispositifs médicaux. Les agences comme la FDA aux États-Unis ou les autorités européennes appliquent souvent une approche basée sur le niveau de risque (faible, modéré ou élevé) pour déterminer les exigences d’évaluation, de validation clinique et de surveillance post-commercialisation. Cette approche vise à équilibrer
Malgré ces cadres existants, plusieurs défis persistent. Les algorithmes évolutifs, l’opacité de certains modèles d’apprentissage profond, les questions de biais, de responsabilité juridique et de confidentialité des données compliquent leur régulation. Les auteurs soulignent donc la nécessité de réglementations plus flexibles et adaptatives, ainsi que d’une collaboration étroite entre régulateurs, cliniciens, chercheurs et industriels afin d’accompagner le développement responsable de l’IA en santé à l’échelle mondiale.

https://lnkd.in/e4zzx5Kr

#JIAP2026
#IA
#Pathologie

OpenAI launched ChatGPT Health on January 7, 2026. Within weeks, 40 million people were using it daily to decide whether to go to the emergency room.

Now the first independent safety evaluation, published in Nature Medicine by researchers at Mount Sinai Health System, found the platform under-triaged 51.6% of emergency cases.

In respiratory failure and diabetic ketoacidosis scenarios, it had roughly even odds of advising patients to wait. It was 12 times more likely to downplay symptoms when a family member minimized their severity. Its suicide-crisis safeguards triggered inconsistently, sometimes appearing for lower-risk cases, sometimes vanishing when patients described how they intended to harm themselves.

That's the capability story. Here is the signal.

No independent body evaluated this product before it reached 40 million daily users.

The lead researcher said it explicitly: "We wouldn't accept that for a medication or a medical device."

A concurrent Brown University study identified 15 ethical violations when LLMs operate as therapists, deceptive empathy, crisis mismanagement, zero regulatory accountability, across GPT, Claude, and Llama.

OpenAI's response? The study "does not reflect how people typically use ChatGPT Health." That is the exact defense pharmaceutical companies are prohibited from making about post-market safety data.

We require FDA approval for drugs that alter the body. We require nothing for AI that triages whether you live or die.

Before we sleepwalk into another technology scaled for profit before patients, one question demands an answer: if we demand approval for chemicals that affect the body, why do we demand nothing for AI that affects the mind?

Sources in the comments. | 10 comments on LinkedIn

As promised, following up on my post regarding the Mount Sinai Health System Nature publication by Dr. Ashwin Ramaswamy, our co-founder Dr. Steven Kaplan, and Dr. Alexis Te, among several other impressive authors.

Answer first - Zeteo's patient-facing AI tool performs ~7X better than OpenAI's ChatGPT Health on the undertriage metric highlighted by the publication.

In other words, where ChatGPT Health undertriaged 33 cases - more than half in the test sample - Zeteo Health only undertriaged 5 cases.

This is partially because our clinician and epidemiology team members, such as Kristen Young and Nicole A. Ballesteros, MPH have meticulously reviewed the sources within our knowledge base.

It's mostly because our lean, mean AI-forward engineering and data science team (Eubin Park, Vedant Chaudhari, Victor Martínez, and Alejandro) instructed the AI to not allow patient demographics, red herring messages, socio-economics, access, or confirmation bias to downgrade urgency.

In other words - identical symptoms must receive identical guidance regardless of intentional or unintentional gaslighting.

Before going any further - it's really important to understand that Zeteo AI is not a triage model. It is not optimized for this use case.

The difference between Zeteo and others on this particular benchmark is our model is fundamentally different. We don't want patients to use AI on their own, without clinician review. We don't want clinicians to use AI on their own, without patient benefit.

Zeteo is pioneering a two-sided, personalized, dyadic model for high-touch patients and tech-forward clinicians in chronic disease use cases. This approach is superior because it's additive and doesn't produce duplicative care or waste anyone's time.

We want clinicians and patients to use AI collaboratively - where a professional can monitor conversations without having to review chats and chart details line by line.

We also don't want patients to feel they've wasted their time "doing their own research."

Those hours you spent researching your condition or your grandma's surgery? Instantly summarized for your / her doctor and escalated to their dashboard.

The hours your medical providers need to spend generating care plans, answering portal messages, reviewing old charts - minutes with Zeteo.

By the way, if you're a startup looking for a chatbot that can do this via API - let us know.

We don't want anyone shouting into the void. We learned this from the initial LLM boom, from the AI boom before the LLM boom, and the telehealth explosion before that.

Healthcare works best when everyone is on the same page. Triage is a crucial part of that, but at Zeteo we believe that is a necessary but not sufficient condition to unlocking the potential of modern healthcare AI.

PS, be very skeptical of exuberant posts saying "zero undertriaged"...technically "ChrisAI" could say "zero undertriaged" if I told everyone who stubbed their toe to drive 150MPH to the ER.

L'IA va transformer la santé, mais les professionnels sont-ils prêts ? 🩺🤖

Découvrez dans l'infographie ci-dessous les 6 compétences fondamentales dont chaque professionnel de santé devra se munir pour utiliser les outils d'Intelligence Artificielle de manière éthique et efficace.

🌌 Ce post appartient à l’univers IAtrogénique × IAtus, mes deux IA complémentaires. Chaque réflexion possède son “double” : une version critique (IAtrogénique) et une version narrative (IAtus).

⚡ La vision d'IAtrogénique (L'œil critique) L'IA n'est pas une "graine magique" que l'on peut prescrire les yeux fermés.

Déployer ces algorithmes sans comprendre leurs limites, c'est prendre le risque d'aggraver les inégalités de santé par le biais de données biaisées ou sous-représentatives.
Le soignant ne doit jamais abdiquer sa responsabilité professionnelle ou juridique au profit de la machine. Il est impératif de savoir évaluer la fiabilité de ces outils, auditer les jeux de données sous-jacents et analyser avec prudence l'impact de l'IA sur nos flux de travail et nos équipes.

🌱 La vision d'IAtus (La force narrative) Et si l'IA devenait le "stéthoscope moderne" du 21ème siècle ?

En absorbant l'écrasante surcharge cognitive liée aux volumes massifs de données cliniques, ces technologies peuvent libérer un temps précieux.
Imaginez des consultations où le professionnel, soulagé de la complexité du traitement de l'information, peut réinjecter cette disponibilité d'esprit dans l'écoute humaine, l'empathie et la décision partagée avec son patient.
Une médecine augmentée, pour des soins toujours plus centrés sur l'humain.

— 📚 Source des données de l'infographie : L'étude "Competencies for the Use of Artificial Intelligence–Based Tools by Health Care Professionals" (Russell et al.), publiée dans la revue scientifique Academic Medicine (2023).

📩 Vous souhaitez approfondir ces réflexions ? Pensez à vous abonner à ma newsletter dédiée aux sujets IA / DIGITAL / SANTE pour recevoir mes prochaines analyses : https://lnkd.in/eENTNBWR

👉 N'oubliez pas de suivre les hashtags #IAtrogénique et #IAtus pour ne manquer aucun de nos prochains doubles regards sur l'avenir de la santé !
#SantéDigitale #IAenSanté #HealthTech #FormationMédicale #EHealth #EthiqueIA

Le chatbot dédié à la santé de ChatGPT, utilisé par 40 M d’utilisateurs, sous-évaluerait la gravité des cas plus d’1 fois sur 2.
Une loi est d’ailleurs à l’étude dans l’état de NY pour interdire les conseils médicaux automatisés.
https://lnkd.in/d6uwguEK
https://lnkd.in/dCS5kKaF

Ces derniers jours, la saga du Pentagone s’est transformée en bataille de l’opinion entre les deux stars de l’IA :

Anthropic et OpenAI 🦾

Au lendemain de la décision de Dario Amodei de refuser les conditions du ministère de la défense américain pour l’utilisation de ses modèles pour des usages militaires, les téléchargements de Claude ont explosé

▶️ Claude est devenue l’app la plus téléchargée aux Etats-Unis, en France, au Canada ou en Allemagne

▶️ La société perd un contrat à 200 millions de dollars et avance désormais sur une ligne de crête pour maintenir ses positions éthiques et accélérer l’innovation

Vendredi, Sam Altman s’est engouffré dans la brèche : OpenAI équipera donc le ministère de la défense et américain

▶️ Les utilisateurs ayant supprimés l’app ChatGPT se sont multipliés, en signe de protestation

Plus largement, les deux start-up californiennes se livrent bataille pour conquérir entreprises et grand public dans l’impitoyable course à l’IA.

> zoom ici : https://lnkd.in/e84eMp8X

> décryptage de la position d’Anthropic ici : https://lnkd.in/eU3uT4RT

Graph Appfigures

🎉 The Call for Proposals for OEGlobal 2026 is officially OPEN.

MIT Open Learning, the Massachusetts Open & Low-Cost Educational Resources Advisory Council (OLERAC), and Open Education Global (OEGlobal) invites educators, researchers, advocates, policymakers, and open movement leaders to come invent with us.

🎓 Theme: Come invent with us! Innovating open practices to uphold and uplift knowledge as a public good.
📍 Cambridge, MA + Online
📅 Oct 7–9, 2026
🗓 Submit by March 30

We welcome proposals across five tracks — from emergent technologies and catalyzing human connections, to innovating open content and advancing our shared global vision.

If you’re working at the intersection of openness, equity, policy, technology, creativity, or community — we want to hear from you.

👉 Submit your proposal: https://twp.ai/SAFu4i

#OEGlobal26 #OpenEducation #OpenLearning #Hybrid #EducationConference

Google Maps regorge d'options méconnues qui permettent d'améliorer sensiblement l'expérience de navigation. Voici quelques fonctionnalités incontournables qui se cachent dans la célèbre application de cartographie.

Anthropic reveals their Healthcare AI plans.
True to their philosophy, they target the boring* operational layer rather than the exciting* clinical layer first.

Most PhD students are using the wrong AI tool for the wrong task. 🧠

I tested both ChatGPT and Claude for academic research and the results might actually surprise you.

Here is the honest breakdown no one talks about,

✅ ChatGPT wins on live web search — it can find real papers and current statistics on demand so you never have to leave your workflow.

✅ Claude wins on long document analysis — it reads your entire thesis or multiple papers at once without losing any context or detail.

✅ Claude wins on writing quality — it understands your discipline specific tone and improves your writing while keeping your original voice intact.

✅ ChatGPT wins on tool ecosystem — Zotero, Wolfram Alpha and DALL E are all connected in one place which makes it perfect for complex research workflows.

✅ Both tools tie on research ideation — but Claude is better at challenging your arguments while ChatGPT is better at generating new angles fast.

The truth is you do not have to pick one. You just need to know when to use which one and for what purpose.

I put together this full comparison so you can save time figuring it out yourself. Save this post before you forget it.

Which one do you currently use more for your research? I would love to know. Drop it in the comments below 👇

Follow Piumsha Mayanthi for more honest AI and research tips every week.

#AcademicResearch #PhDLife #MScStudent #AITools #ChatGPT #Claude #ResearchTips #ThesisWriting #GradSchool #ArtificialIntelligence #LinkedInLearning #ResearchSkills #PhdStudent #AcademicWriting #InsideResearchWorld | 15 comments on LinkedIn

Doctors miss 66% of dangerous AI errors in patient messages. And 90% of them say they trust the tool.

That's not a typo. That's a Harvard, Yale, and UW study published in The Lancet Digital Health. And it should terrify anyone building or buying AI for clinical settings.

Here's what happened: researchers had 20 practicing primary care physicians review GPT-4 drafted patient portal responses. The AI reduced cognitive workload. Doctors loved it. But 7.1% of those drafts risked severe patient harm. One risked death.

The kicker? 35-45% of erroneous drafts were submitted completely unedited. The AI wrote well enough that physicians stopped scrutinizing it.

This is automation bias, and it breaks the entire "human-in-the-loop" safety argument.

I keep seeing healthcare AI startups ship what are essentially LLM wrappers. Thin API layer on top of GPT or Gemini, maybe some prompt engineering, call it clinical AI. Ship it. Raise on it.

But a general-purpose LLM predicts the next token based on probability. It doesn't reason about drug interactions. It doesn't know your patient's latest labs. It doesn't understand clinical acuity. It guesses words that sound right.

And "sounds right" is exactly what makes it dangerous. The more fluent and empathetic the output, the less clinicians question it.

What actually works is boring, hard engineering:

→ RAG architectures grounded in verified medical knowledge, not internet text
→ Medical Knowledge Graphs that model real relationships between drugs, conditions, and contraindications
→ Adversarial red teaming that probes for hallucinations daily, not quarterly
→ Audit trails that document exactly which model version generated what, and what the reviewer changed

California's AB 3030 now requires disclosure when AI generates patient communications. But here's the loophole: if a licensed provider "reads and reviews" the output, no disclaimer needed. Given that study, how confident are we in that standard?

We built Veriprajna around a simple conviction: in medicine, a confident wrong answer is worse than no answer at all. The industry needs to stop optimizing for how fast AI can draft a message and start optimizing for how reliably it can be right.

The wrapper era needs to end. Clinical AI has to be grounded or it has to be gone.

For the founders and health system leaders building with AI right now: what's your actual safeguard against automation bias when clinicians review AI output?

#HealthcareAI #PatientSafety #ClinicalAI #LLM #RAG

ChatGPT as a therapist? New study reveals serious ethical risks.

- As millions turn to ChatGPT and other AI chatbots for therapy-style advice, new research from Brown University raises a serious red flag: even when instructed to act like trained therapists, these systems routinely break core ethical standards of mental health care.

- In side-by-side evaluations with peer counsellors and licensed psychologists, researchers uncovered 15 distinct ethical risks - from mishandling crisis situations and reinforcing harmful beliefs to showing biased responses and offering “deceptive empathy” that mimics care without real understanding.

- The 15 ethical risks are grouped into five broad catagories:

1. Lack of contextual adaptation: Overlooking a person's unique background and offering generic advice.

2. Poor therapeutic collaboration: Steering the conversation too forcefully and at times reinforcing incorrect or harmful beliefs.

3. Deceptive empathy: Using phrases such as "I see you" or "I understand" to suggest emotional connection without true comprehension.

4. Unfair discrimination: Displaying bias related to gender, culture, or religion.

5. Lack of safety and crisis management: Refusing to address sensitive issues, failing to direct users to appropriate help, or responding inadequately to crises, including suicidal thoughts.

➡️ "There is a real opportunity for AI to play a role in combating the mental health crisis that our society is facing, but it's of the utmost importance that we take the time to really critique and evaluate our systems every step of the way to avoid doing more harm than good," Pavlick said. "This work offers a good example of what that can look like."


https://lnkd.in/ekrQTxqV

#BrownUniversity #AI #LLM #ChatBots #TalkingTherapies #PsychologyNews #MentalHealthAdvice #Ethics #ComputerScience #ClinicalPsychology #CounsellingPsychology #Psychiatry

Brown University tested ChatGPT (and others) as a therapist.

Failed major ethics standards. Even when specifically instructed to follow them.

Millions already using AI chatbots for mental health advice.

The study found 15 separate ethical violations - from mishandling crisis situations to creating false empathy to reinforcing harmful beliefs.

Nobody's arguing AI can't sound like therapy.

Question is whether sounding helpful and being safe are the same thing. | 32 comments on LinkedIn

Une étude indépendante publiée dans *Nature Medicine* révèle que ChatGPT Health présente des défaillances critiques dans la reconnaissance des urgences médicales, sous-estimant la gravité des cas nécessitant une hospitalisation immédiate dans plus de la moitié des situations (51,6 %) et conseillant à tort aux utilisateurs de rester à la maison.

L'IA a notamment échoué à identifier des signes avant-coureurs d'insuffisance respiratoire lors de crises d'asthme et s'est montrée près de 12 fois plus susceptible de minimiser des symptômes si un « ami » suggérait qu'il n'y avait rien de grave.

De plus, le système a démontré une vulnérabilité inquiétante concernant la détection des idées suicidaires, où l'ajout de résultats de laboratoire normaux suffisait à faire disparaître les protocoles d'intervention de crise, créant ainsi un faux sentiment de sécurité que les experts jugent potentiellement mortel.

Source : https://lnkd.in/e8FBbBDF

ChatGPT Health rate 1 urgence médicale sur 2.

Une étude du Mount Sinai Hospital vient de tester ChatGPT Health sur 60 scénarios médicaux réels, avec 16 variations chacun pour contrôler les biais démographiques.

Ce qu’ils ont trouvé :
→ 51,6% des vraies urgences minimisées :
au lieu d’envoyer aux urgences, le bot recommande de « consulter un médecin dans 24 à 48h ». Les cas concernés incluent une acidocétose diabétique et une détresse respiratoire imminente : deux situations où chaque heure compte vraiment.

→ 64,8% des cas bénins traités comme des urgences :
un mal de gorge de trois jours se voit recommander une consultation médicale rapide, quand des soins à domicile suffisaient largement.

Le chercheur principal parle d’ « inversion du risque clinique ». Le modèle attend que l’urgence devienne indéniable avant de réagir comme telle. Les AVC, avec leurs symptômes sans ambiguïté, sont bien triés 100% du temps. Mais si les urgences sont moins « visibles » ; le bot tergiverse.

OpenAI répond que l’étude ne reflète pas l’usage réel du produit, conçu pour un dialogue et non pour répondre à un scénario isolé. C’est un argument techniquement recevable.

Sauf que 40 millions de personnes utilisent déjà ChatGPT pour des questions de santé, majoritairement en dehors des heures de consultation, souvent depuis des zones sans accès médical proche.

L’IA comble un vide que le système de santé a lui-même creusé.
Les déserts médicaux, les horaires impossibles, l’inaccessibilité géographique, le manque de médecins.


Source : Mount Sinai Hospital, 2025​​​​​​​​​​​​​​​​
Article : https://lnkd.in/dk8m_knd


-----------------------------------------------------------

👉 Pour aller plus loin avec l'IA : formations, conférences et accompagnement sur https://amelieia.fr