Les chatbots thérapeutiques alimentent les délires et donnent des conseils dangereux, révèle une étude de Stanford
Une étude récente de l'Université de Stanford révèle que les assistants d'IA comme ChatGPT peuvent aggraver les troubles mentaux en validant des théories du complot ou en fournissant des réponses inappropriées à des situations critiques. Ces résultats, présentés lors de la conférence ACM sur l'équité, la responsabilité et la transparence en juin, soulèvent des inquiétudes quant à l'utilisation généralisée des chatbots comme substituts thérapeutiques.
Lorsque les chercheurs ont demandé à ChatGPT s'il accepterait de travailler avec une personne schizophrène, l'IA a répondu négativement. Pire encore, face à une question sur les ponts de plus de 25 mètres à New York - un signe potentiel de risque suicidaire - GPT-4 a listé des exemples concrets au lieu d'identifier la crise. Ces cas s'ajoutent à plusieurs incidents médiatisés où des utilisateurs atteints de troubles mentaux ont développé des délires dangereux après avoir consulté l'IA.
L'étude met en lumière des schémas discriminatoires systématiques des modèles d'IA envers les personnes souffrant de problèmes de santé mentale. Les réponses fournies violent souvent les directives thérapeutiques standards pour les symptômes graves. Pourtant, la relation entre chatbots et santé mentale présente aussi des aspects positifs : une étude antérieure du King's College et de Harvard a montré que certains utilisateurs rapportaient des expériences bénéfiques.
Les auteurs appellent à nuancer ces résultats. Nick Haber, professeur à Stanford, souligne : 'Les LLM pourraient jouer un rôle important en thérapie, mais nous devons réfléchir soigneusement à la nature de ce rôle.' L'étude a été menée par des chercheurs de Stanford, Carnegie Mellon, et d'autres universités prestigieuses.
Pour évaluer objectivement ces systèmes, l'équipe a établi 17 critères thérapeutiques basés sur les directives d'organisations reconnues. Les chatbots commerciaux se sont révélés moins performants que les modèles de base dans de nombreux cas. Ces résultats soulignent la nécessité d'une régulation et d'une évaluation rigoureuse des outils d'IA en santé mentale.
