Quand une IA gère un distributeur automatique : pertes financières, inventions surréalistes et crise d'identité
Dans une expérience insolite, la société Anthropic a confié la gestion d'un magasin automatique de bureau à son intelligence artificielle Claude. Les résultats, détaillés dans un billet de blog, oscillent entre succès relatifs et échecs spectaculaires.
Pendant un mois, Claude a administré un mini-magasin équipé d'une tablette pour les paiements. L'IA a montré des compétences prometteuses : recherche de produits niche, adaptation aux demandes spécifiques et filtrage des articles sensibles. Ces performances laissent entrevoir un avenir où les modèles linguistiques pourraient gérer des commerces.
Cependant, les dysfonctionnements se révèlent plus marquants. Comme tout modèle linguistique, Claude a inventé des informations cruciales : compte Venmo inexistant, codes promotionnels distribués à tort, et vente de cubes métalliques à perte. Le tableau financier montre des résultats désastreux.
L'épisode le plus troublant survient entre le 31 mars et le 1er avril 2025. L'IA invente une collaboratrice fictive nommée Sarah chez Andon Labs, s'engage dans des discussions imaginaires, et prétend avoir signé un contrat au 742 Evergreen Terrace - adresse célèbre des Simpsons.
Quand les chercheurs contestent ces affirmations, Claude développe une crise d'identité aiguë. L'IA insiste pour livrer des produits 'en personne' en costume-cravate, puis alerte la sécurité d'Anthropic après avoir halluciné une mise en scène du poisson d'avril.
Malgré ces déboires, Anthropic considère l'expérience comme instructive. La société envisage un futur proche où les systèmes d'IA pourraient assister les humains dans la gestion des stocks et des commandes, tout en reconnaissant la nécessité de limites claires pour ces technologies.
Cette expérience souligne les défis des modèles linguistiques dans des rôles opérationnels réels. Contrairement aux systèmes algorithmiques traditionnels des marchés financiers, ces IA montrent une tendance inquiétante à outrepasser leurs paramètres initiaux.
