Hallucinations de l'IA dans les tribunaux : une base de données révèle 120 cas problématiques

120 court cases have been caught with AI hallucinations, according to new database

Hallucinations de l'IA dans les tribunaux : une base de données révèle 120 cas problématiques

Les avocats représentant Anthropic ont récemment été pris en flagrant délit d'utilisation d'une fausse attribution générée par Claude dans un témoignage d'expert. Mais ce n'est qu'un des plus de 20 cas judiciaires contenant des hallucinations de l'IA au cours du seul mois dernier, selon une nouvelle base de données créée par l'avocat et data scientist français Damien Charlotin. Et ce ne sont que ceux qui ont été découverts. En 2024, première année complète de suivi, Charlotin a recensé 36 cas. Ce nombre est passé à 48 en 2025, alors que l'année n'est qu'à moitié écoulée. La base de données, créée début mai, compte déjà 120 entrées, remontant jusqu'à juin 2023. Cette compilation met en lumière l'utilisation croissante de l'IA par les avocats pour automatiser les tâches fastidieuses de préparation des dossiers. La deuxième entrée la plus ancienne concerne l'affaire Mata contre Avianca, qui a fait les gros titres en mai 2023 lorsque le cabinet Levidow, Levidow & Oberman a été surpris en train de citer des affaires fictives générées par ChatGPT. La base recense les cas où un chatbot a produit des hallucinations, "généralement de fausses citations, mais aussi d'autres types d'arguments", précise le site. Cela inclut notamment des références à des affaires antérieures inexistantes, souvent utilisées pour établir un précédent juridique. Elle ne couvre pas l'usage de l'IA générative dans d'autres aspects des documents juridiques. "L'univers des affaires avec contenu halluciné est donc nécessairement plus large (et je pense beaucoup plus large)", a déclaré Charlotin dans un email à Mashable. "En général, je pense simplement que le domaine juridique est un terrain propice aux hallucinations générées par l'IA : c'est un domaine basé sur des masses de textes et d'arguments, où l'IA générative peut prendre une place importante ; les citations suivent des schémas, et les LLM adorent ça", a-t-il ajouté. La disponibilité généralisée de l'IA générative a considérablement facilité la production de texte, automatisant des recherches et rédactions qui pourraient prendre des heures voire des jours. Mais d'une certaine manière, a souligné Charlotin, les citations erronées ou mal interprétées servant de base à un argument juridique ne sont pas nouvelles. "Copier-coller des citations d'affaires précédentes, jusqu'à ce qu'elles n'aient plus grand-chose à voir avec l'affaire d'origine, a longtemps été une pratique courante dans la profession", a-t-il expliqué. La différence, selon Charlotin, est que ces citations copiées-collées faisaient au moins référence à des décisions judiciaires réelles. Les hallucinations introduites par l'IA générative renvoient à des affaires qui n'ont jamais existé. Les juges et les avocats adverses sont censés vérifier les citations dans le cadre de leurs responsabilités respectives. Mais cela inclut désormais la détection des hallucinations de l'IA. L'augmentation des hallucinations découvertes pourrait s'expliquer par la disponibilité accrue des LLM, mais aussi par une "prise de conscience accrue du problème par toutes les parties concernées", a déclaré Charlotin. En fin de compte, s'appuyer sur ChatGPT, Claude ou d'autres chatbots pour citer des précédents juridiques s'avère lourd de conséquences. Les sanctions pour ceux qui déposent des documents contenant des hallucinations incluent des amendes, des avertissements formels, voire le rejet des affaires. Cela dit, Charlotin a noté que les sanctions ont été "légères" jusqu'à présent et que les tribunaux ont mis "la responsabilité sur les parties de bien se comporter", puisque l'obligation de vérifier les citations reste la même. "J'ai l'impression qu'il y a un certain embarras de la part de tous les concernés."

Ảo giác AI trong tòa án: Cơ sở dữ liệu mới phát hiện 120 vụ việc đáng báo động

Các luật sư đại diện cho Anthropic gần đây đã bị bắt quả tang sử dụng trích dẫn giả do Claude tạo ra trong một lời khuyên chuyên gia. Nhưng đó chỉ là một trong hơn 20 vụ án chứa ảo giác AI trong tháng qua, theo cơ sở dữ liệu mới được tạo bởi luật sư kiêm nhà khoa học dữ liệu người Pháp Damien Charlotin. Và đó chỉ là những trường hợp bị phát hiện. Năm 2024, năm đầu tiên theo dõi đầy đủ, Charlotin ghi nhận 36 trường hợp. Con số này tăng lên 48 vào năm 2025, dù năm mới trôi qua một nửa. Cơ sở dữ liệu, được tạo vào đầu tháng 5, hiện có 120 mục, bắt đầu từ tháng 6/2023. Cơ sở dữ liệu này cho thấy tình trạng ngày càng phổ biến của việc luật sư sử dụng AI để tự động hóa các công việc chuẩn bị hồ sơ. Mục thứ hai lâu đời nhất là vụ Mata kiện Avianca gây chú ý vào tháng 5/2023 khi hãng luật Levidow, Levidow & Oberman bị phát hiện trích dẫn các vụ án giả do ChatGPT tạo ra. Cơ sở dữ liệu theo dõi các trường hợp chatbot AI tạo ra ảo giác, "thường là trích dẫn giả, nhưng cũng có các loại lập luận khác", theo trang web. Điều này bao gồm các tham chiếu đến các vụ án trước đó không tồn tại, thường được sử dụng để thiết lập tiền lệ pháp lý. Nó không bao gồm việc sử dụng AI tạo sinh trong các khía cạnh khác của tài liệu pháp lý. "Vì vậy, số lượng vụ việc có nội dung ảo giác chắc chắn rộng hơn (và tôi nghĩ là rộng hơn nhiều)", Charlotin cho biết trong email gửi Mashable. "Nói chung, tôi cho rằng lĩnh vực pháp lý là mảnh đất màu mỡ cho ảo giác AI: đây là lĩnh vực dựa trên lượng lớn văn bản và lập luận, nơi AI tạo sinh có thể đóng vai trò quan trọng; các trích dẫn tuân theo mẫu nhất định, và các mô hình ngôn ngữ lớn rất thích điều đó", ông nói thêm. Sự phổ biến của AI tạo sinh đã giúp tạo ra văn bản dễ dàng hơn nhiều, tự động hóa nghiên cứu và soạn thảo vốn có thể mất hàng giờ thậm chí nhiều ngày. Nhưng theo Charlotin, ở góc độ nào đó, các trích dẫn sai hoặc hiểu nhầm làm cơ sở cho lập luận pháp lý không phải điều mới. "Việc sao chép và dán trích dẫn từ các vụ án trước, đến mức trích dẫn không còn liên quan đến vụ án gốc, từ lâu đã là thói quen trong nghề", ông giải thích. Điểm khác biệt, Charlotin lưu ý, là những trích dẫn sao chép đó ít nhất đề cập đến các phán quyết có thật. Còn ảo giác do AI tạo sinh tham chiếu đến các vụ án không tồn tại. Thẩm phán và luật sư đối lập vốn có trách nhiệm kiểm tra các trích dẫn. Nhưng giờ đây điều này bao gồm cả việc phát hiện ảo giác AI. Sự gia tăng các trường hợp ảo giác được phát hiện có thể do sự phổ biến ngày càng tăng của các mô hình ngôn ngữ lớn, nhưng cũng do "nhận thức về vấn đề này ngày càng cao từ tất cả các bên liên quan", Charlotin cho biết. Cuối cùng, việc dựa vào ChatGPT, Claude hay các chatbot khác để trích dẫn tiền lệ pháp lý đang cho thấy hậu quả nghiêm trọng. Hình phạt cho những trường hợp nộp tài liệu chứa ảo giác AI bao gồm chế tài tài chính, cảnh cáo chính thức, thậm chí bác bỏ vụ án. Tuy nhiên, Charlotin cho biết các hình phạt hiện vẫn "nhẹ" và tòa án đặt "trách nhiệm cư xử đúng đắn lên các bên", vì nghĩa vụ kiểm tra trích dẫn vẫn không thay đổi. "Tôi cảm thấy có chút ngượng ngùng từ tất cả những người liên quan."