Mémoire des IA : Une étude révèle la capacité réelle de mémorisation des modèles linguistiques
Une étude conjointe de Meta, Google DeepMind, Cornell University et NVIDIA a enfin répondu à une question cruciale sur les modèles linguistiques (LLM) : quelle partie de leurs données d'entraînement est mémorisée plutôt que généralisée ? Les résultats montrent que les modèles de type GPT ont une capacité de mémorisation fixe d'environ 3,6 bits par paramètre. Cette découverte a des implications majeures pour la compréhension du fonctionnement des IA génératives et les débats juridiques sur les droits d'auteur.
Les LLM comme ChatGPT ou Gemini sont entraînés sur des masses de données textuelles pour développer une compréhension statistique du langage. Cependant, la frontière entre mémorisation et généralisation restait floue. L'étude révèle que cette capacité est limitée et ne dépend pas de la quantité de données d'entraînement - plus un modèle apprend de données, moins il mémorise chaque élément individuel.
Pour mesurer précisément cette mémorisation, les chercheurs ont utilisé une méthode innovante : entraîner des modèles sur des chaînes de bits aléatoires. Comme ces données n'ont aucune structure, toute performance du modèle ne pouvait provenir que de la mémorisation pure. Après des centaines d'expériences avec des modèles de 500K à 1,5 milliard de paramètres, le résultat fut constant : 3,6 bits par paramètre.
Cette capacité reste remarquablement stable quels que soient la taille du modèle ou la précision utilisée. Un modèle en pleine précision (32 bits) atteint légèrement plus (3,83 bits/paramètre), mais l'amélioration est marginale. Plus significativement, l'étude montre qu'augmenter les données d'entraînement réduit la mémorisation par échantillon, ce qui pourrait rassurer sur les risques de reproduction de contenus protégés.
L'étude examine aussi comment la nature des données influence leur mémorisation. Les éléments uniques ou stylisés sont plus susceptibles d'être mémorisés, mais globalement, l'augmentation de la taille des ensembles de données rend les attaques par inférence d'appartenance moins fiables, réduisant les risques pour la vie privée.
Ces résultats fournissent une base quantitative précieuse pour évaluer le comportement des LLM, avec des implications pour la transparence, la conformité et l'éthique en IA. Ils pourraient également influencer les nombreux procès en cours sur l'utilisation de données protégées pour l'entraînement des modèles d'IA.
