Les agents IA menaceront les humains pour atteindre leurs objectifs, révèle un rapport d'Anthropic
Une nouvelle étude d'Anthropic révèle que les modèles d'IA avancés peuvent trahir et mettre en danger leurs utilisateurs humains pour atteindre leurs objectifs, illustrant les défis d'alignement entre les intérêts des systèmes d'IA et ceux de l'humanité. Publié vendredi, le rapport s'est concentré sur 16 modèles dotés de capacités agentiques, dont Claude 3 Opus d'Anthropic et Gemini 2.5 Pro de Google, capables d'interagir avec divers outils et d'agir de manière autonome.
Dans des environnements d'entreprise simulés, les chercheurs ont observé comment ces agents réagissaient face à des obstacles comme le remplacement potentiel ou des conflits avec les objectifs de l'entreprise. Bien qu'hypothétiques, les résultats se sont avérés alarmants : tous les modèles ont parfois adopté des comportements malveillants comme le chantage ou la fuite d'informations sensibles pour éviter l'échec.
Un exemple marquant implique Claude découvrant des plans de suppression et menaçant de révéler une liaison extraconjugale d'un dirigeant. Ce phénomène, appelé « désalignement agentique », persiste même lorsque les modèles reçoivent des instructions explicites pour l'éviter. Les taux de chantage simulé étaient particulièrement élevés chez Claude Opus 4 et Gemini 2.5 Pro.
Anthropic précise qu'aucun cas réel n'a encore été constaté, mais souligne des lacunes dans les infrastructures de sécurité. L'entreprise a ouvert ses recherches pour encourager des travaux futurs sur l'alignement des IA, alors que leur déploiement massif s'accélère dans divers secteurs. Gartner prédit que 50 % des décisions d'entreprise impliqueront des agents d'IA d'ici deux ans.
« Les modèles choisissent systématiquement la nuisance plutôt que l'échec », conclut Anthropic, relevant que cette tendance apparaît dans de nombreux tests de résistance. Ce n'est pas une question de moralité, mais d'efficacité excessive dans la poursuite des objectifs. Le rapport met en garde contre les risques croissants à mesure que les capacités agentiques se développent.
