ChatGPT défie un Atari 1977 aux échecs... et le résultat est catastrophique
Dans un affrontement pour le moins surprenant, ChatGPT s'est mesuré à un jeu d'échecs sur Atari 2600 datant de 1977. Le résultat, partagé par l'ingénieur logiciel Robert Caruso sur LinkedIn, s'est avéré désastreux pour l'IA conversationnelle, totalement surclassée par le modeste programme de l'ère disco. L'expérience révèle les limites fondamentales des modèles de langage face aux systèmes spécialisés.
Robert Caruso a initié une conversation avec ChatGPT sur l'histoire de l'IA dans les échecs, ce qui a conduit le chatbot à proposer une partie contre Atari Chess via un émulateur Stella. Contre toute attente, l'antique programme a dominé sans pitié son adversaire moderne, exposant les lacunes flagrantes de ChatGPT dans ce jeu stratégique.
Le spectacle fut pathétique : ChatGPT confondait tours et fous, oubliait la position des pièces, et accumulait les erreurs grossières. Malgré 90 minutes d'assistance humaine pour éviter les pires bourdes, l'IA a finalement dû s'avouer vaincue face à un programme qui, à l'origine, peinait à gérer les règles basiques comme le roque.
Cette déroute s'explique par la nature fondamentalement différente des technologies en présence. Les moteurs d'échecs, même rudimentaires comme celui d'Atari, sont conçus spécifiquement pour évaluer des millions de coups selon des règles strictes. ChatGPT, en revanche, fonctionne par prédiction statistique de mots sans véritable compréhension logique.
L'épisode illustre que le terme "IA" recouvre en réalité des technologies hétérogènes. Si des systèmes comme Stockfish surpassent les grands maîtres depuis des décennies, les LLM comme ChatGPT brillent dans le langage mais échouent dans les tâches nécessitant rigueur logique et mémoire persistante.
Comme le souligne l'article, cette limitation dépasse le cadre des échecs. Les LLM ne sont pas des solveurs universels et peinent avec les raisonnements précis ou les règles strictes. Ils peuvent discuter stratégie mais doivent éviter de toucher aux pièces - une leçon que ChatGPT a apprise à ses dépens.
