Un million de personnes confient à ChatGPT des pensées suicidaires, selon OpenAI
L'entreprise californienne d'intelligence artificielle (IA) estime qu'environ 0,15% des utilisateurs de ChatGPT ont des "conversations qui incluent des indicateurs explicites de planification ou d'intention suicidaire potentielle", rapporte-t-elle dans un billet de blog publié lundi.
OpenAI revendiquant 800 millions d'utilisateurs hebdomadaires, cela correspond à environ 1,2 million de personnes.
L'entreprise estime également qu'environ 0,07% des utilisateurs hebdomadaires actifs de ChatGPT présentent des signes de potentielles urgences de santé mentale liées à des épisodes psychotiques ou maniaques, soit un peu moins de 600.000 personnes.
Cette question occupe le devant de la scène depuis la mort d'un adolescent californien, Adam Raine. Ses parents ont récemment attaqué OpenAI en justice, affirmant que ChatGPT lui avait fourni des conseils spécifiques sur la manière de se suicider.
OpenAI a depuis renforcé les contrôles parentaux et mis en place d'autres garde-fous, notamment un accès renforcé aux assistances téléphoniques d'urgence, la redirection automatique des conversations sensibles vers des modèles plus sûrs, et des rappels bienveillants invitant les utilisateurs à faire des pauses lors de sessions prolongées.
OpenAI a indiqué avoir également mis à jour son modèle pour mieux reconnaître et répondre aux utilisateurs vivant une urgence de santé mentale.
Elle affirme travailler avec plus de 170 professionnels de santé mentale pour réduire de manière significative les réponses problématiques.