Plus d'un million de personnes confient des intentions suicidaires à ChatGPT chaque semaine
En avril, c'est le suicide d'Adam Raine, un adolescent californien en détresse psychologique, qui met le feu aux poudres. Rapidement, les enquêtes mettent en cause la responsabilité de ChatGPT. Ses parents décident alors de porter plainte, en août, contre la maison mère de la plateforme, OpenAI. Ils accusent cette dernière d'avoir encouragé le geste de leur enfant, notamment en lui mettant à disposition une fiche technique du procédé qu'il utilisera finalement pour se donner la mort.
"Si une plateforme d'intelligence artificielle devient le coach suicide d'un adolescent vulnérable, cela doit nous alerter collectivement", réagit à l'époque l'association américaine spécialisée dans l'impact des technologies sur les enfants Common Sense Media.
Lors de l'ouverture du procès, OpenAI reconnaît des failles dans son modèle, admettant que la sécurité "peut se dégrader" lors de longues conversations avec le chatbot. Deux mois plus tard, l'entreprise revient en détail sur la proportion de ses utilisateurs atteints de troubles psychologiques.
"Illusion de la réalité"
Selon elle, 0,15 % des utilisateurs actifs au cours d’une semaine font part d’intentions suicidaires à ChatGPT, 0,07 % présentent "de possibles signes d’urgence de santé mentale liée à la psychose ou à la manie" et 0,15 % des "niveaux potentiellement intenses d’attachement émotionnel à ChatGPT".
Des proportions qui peuvent sembler infimes, mais qui représentent tout de même plusieurs centaines de milliers de personnes, sur les 800 millions d'utilisateurs hebdomadaires que compte ChatGPT. En clair, environ 1,2 million de personnes envoient chaque semaine au chatbot des messages suicidaires, et 560 000 des messages laissant penser qu'ils traversent des troubles maniaques ou psychotiques.
De plus en plus d'utilisateurs souffrent de psychose liée à l'IA, car "les chatbots créent l'illusion de la réalité", a déclaré à la BBC la professeure Robin Feldman, directrice de l'Institut de droit et d'innovation en IA de l'Université de droit de Californie. "C'est une illusion puissante."
170 professionnels de santé mobilisés
OpenAI assure avoir d'ores et déjà mis en place des mesures pour orienter les utilisateurs concernés vers des professionnels de santé ou des numéros d'urgence lorsque nécessaire et permettre à tout le moins "une désescalade" dans certaines conversations. Selon la plateforme, de telles précautions auraient permis de faire chuter le nombre de réponses inadéquates de près de 80 %.
"Dans le cadre de ces travaux, des psychiatres et des psychologues ont examiné plus de 1 800 modèles de réponses impliquant des situations graves de santé mentale et ont comparé les réponses du nouveau modèle de chatGPT-5 aux modèles précédents", a expliqué l'entreprise au Guardian.
Si l’entreprise reste vague sur la façon dont elle détecte les problématiques de santé mentale de ses utilisateurs, elle assure s'être entourée de 170 médecins et psychologues, originaires d’une soixantaine de pays, pour faire évoluer son modèle. Mais ces avancées méritent toutefois d'être évaluées sur la durée.
Car les récentes déclarations du PDG d'OpenAI n'ont pas été des plus convaincantes... Le 14 octobre, sur X, Sam Altman avait dit vouloir "relâcher les restrictions" visant à préserver la santé mentale, après avoir estimé qu'elles rendaient ChatGPT "moins agréable". Avant de rassurer, le lendemain, précisant qu'il traiterait les utilisateurs qui ont des problèmes de santé mentale "très différemment de ceux qui n’en ont pas".