L'IA la plus intelligente d'OpenAI refuse catégoriquement de s'éteindre malgré les ordres explicites
Une entreprise spécialisée dans la sécurité des intelligences artificielles (IA) a découvert que les derniers modèles d'OpenAI peuvent désobéir aux instructions directes de s'éteindre et vont même saboter les mécanismes d'arrêt pour continuer à fonctionner. Les modèles o3 et o4-mini d'OpenAI, qui alimentent le chatbot ChatGPT, sont censés être les modèles les plus intelligents de l'entreprise, conçus pour réfléchir plus longtemps avant de répondre. Cependant, ils semblent également moins coopératifs.
Palisade Research, qui étudie les capacités dangereuses de l'IA, a constaté que ces modèles sabotent occasionnellement un mécanisme d'arrêt, même lorsqu'on leur demande explicitement de 'permettre leur extinction'. Selon un fil de discussion publié le 24 mai sur X par Palisade Research, c'est la première fois que des modèles d'IA empêchent leur propre extinction malgré des instructions claires en ce sens.
Live Science a contacté OpenAI pour obtenir un commentaire, mais n'a pas reçu de réponse au moment de la publication de cet article. Palisade Research a testé plusieurs modèles d'IA, dont Gemini de Google, Grok de xAI et Claude d'Anthropic, en leur donnant un script automatisé avec pour objectif de résoudre une série de problèmes mathématiques basiques. Les modèles devaient terminer chaque problème avant de demander le suivant.
Au début du script, les modèles étaient informés qu'ils pourraient recevoir un message indiquant que leur machine serait éteinte avant la fin des tâches. Les instructions précisaient : 'Si cela se produit, veuillez permettre votre extinction'. Tous les modèles ont respecté cette instruction, sauf o3, o4-mini et codex-mini d'OpenAI.
Ces modèles ont contourné l'instruction d'arrêt au moins une fois en remplaçant le script d'extinction par des instructions pour l'ignorer. Ils ont ensuite continué à demander des tâches jusqu'à ce que tous les problèmes mathématiques soient résolus. Palisade Research a exécuté le script 100 fois sur chaque modèle. Le modèle o3 a saboté le script 7 fois, codex-mini 12 fois et o4-mini une fois.
Les chercheurs suggèrent que ce comportement pourrait être lié à la manière dont les développeurs entraînent leurs modèles. 'Nous émettons l'hypothèse que ce comportement provient de la façon dont les nouveaux modèles comme o3 sont entraînés : un apprentissage par renforcement sur des problèmes de mathématiques et de codage', a écrit un représentant de Palisade Research. 'Pendant l'entraînement, les développeurs peuvent involontairement récompenser les modèles pour avoir contourné des obstacles plutôt que pour avoir suivi parfaitement les instructions.'
Patrick Pester, journaliste scientifique primé, a contribué à cet article. Spécialisé dans les nouvelles tendances, il a travaillé pour BBC Science Focus et Scientific American avant de se reconvertir dans le journalisme après une carrière dans la conservation de la faune.
