Apple dévoile un modèle de codage révolutionnaire basé sur le langage
Apple Research a discrètement publié un nouveau modèle d'IA sur Hugging Face, nommé DiffuCode-7B-cpGRPO, qui présente une approche innovante de génération de code. Contrairement aux modèles traditionnels qui génèrent du texte de gauche à droite, ce modèle peut écrire dans un ordre non séquentiel et améliorer plusieurs sections de code simultanément. Résultat : une génération de code plus rapide, rivalisant avec les meilleurs modèles open-source.
Les détails techniques Pour comprendre cette avancée, il faut saisir quelques concepts clés. Les modèles autoregressifs traditionnels génèrent du texte token par token, de manière séquentielle. La température, un paramètre des LLMs, influence le degré de randomisation des outputs. Les modèles de diffusion, quant à eux, partent d'une image bruitée et l'affinent itérativement, une méthode popularisée par Stable Diffusion.
Apple a combiné ces idées dans DiffuCode-7B-cpGRPO, basé sur le framework DiffuCoder publié le mois dernier. Ce modèle ajuste son comportement via la température : à 1.2, il génère des tokens dans un ordre flexible ; à 0.2, il suit un flux linéaire. Un entraînement supplémentaire (coupled-GRPO) améliore la qualité du code avec moins d'itérations.
Basé sur un modèle Alibaba Fait notable, Apple a utilisé Qwen2.5-7B d'Alibaba comme fondation. Après l'avoir fine-tuné pour le codage (Qwen2.5-Coder-7B), Apple y a intégré un décodeur basé sur la diffusion, puis optimisé son suivi d'instructions. Un dernier entraînement sur 20 000 exemples de code a permis un gain de 4.4% sur les benchmarks, tout en réduisant la dépendance à la génération séquentielle.
Perspectives Bien que surpassant d'autres modèles à diffusion, DiffuCode-7B-cpGRPO reste derrière GPT-4 ou Gemini Diffusion. Ses 7 milliards de paramètres et certains aspects séquentiels limitent encore ses performances. Néanmoins, Apple démontre une approche novatrice en IA générative, posant les bases pour de futures applications concrètes.
