Contre toute attente : Les assistants IA ralentissent les développeurs expérimentés selon une étude
Dans un rebondissement surprenant pour le monde en évolution rapide de l'intelligence artificielle, une nouvelle étude révèle que les assistants de codage alimentés par l'IA pourraient en fait ralentir la productivité des développeurs de logiciels expérimentés, plutôt que de l'accélérer. Cette recherche, menée par l'organisation à but non lucratif Model Evaluation & Threat Research (METR), visait à mesurer l'impact réel des outils IA avancés sur le développement logiciel.
Au cours de plusieurs mois début 2025, METR a observé 16 développeurs open-source expérimentés alors qu'ils traitaient 246 tâches de programmation réelles – allant de corrections de bugs à l'implémentation de nouvelles fonctionnalités – sur des dépôts de code qu'ils connaissaient intimement. Chaque tâche était aléatoirement assignée pour permettre ou interdire l'utilisation d'outils de codage IA, la plupart des participants optant pour Cursor Pro couplé avec Claude 3.5 ou 3.7 Sonnet lorsque l'IA était autorisée.
Avant de commencer, les développeurs prédisaient avec confiance que l'IA les rendrait 24% plus rapides. Même après l'étude, ils croyaient encore que leur productivité s'était améliorée de 20% avec l'IA. La réalité s'est avérée radicalement différente : les données montrent que les développeurs ont en fait pris 19% plus de temps pour terminer les tâches avec les outils IA.
Les chercheurs ont identifié plusieurs facteurs expliquant ce ralentissement inattendu. L'optimisme des développeurs dépassait souvent les capacités réelles de la technologie. La complexité des projets (dépassant souvent un million de lignes de code) posait problème à l'IA, qui fonctionne mieux sur des problèmes plus petits. De plus, moins de 44% du code généré par l'IA était accepté, nécessitant un temps important de relecture et correction.
La méthodologie était rigoureuse : estimation préalable du temps, enregistrement des écrans et auto-évaluation du temps passé, avec une compensation de 150$/heure. Les résultats sont restés cohérents à travers diverses mesures, sans biais détectable.
Les chercheurs mettent en garde contre une généralisation excessive : l'étude portait sur des développeurs hautement qualifiés travaillant sur des bases de code complexes qu'ils connaissaient bien. L'IA pourrait toujours bénéficier aux programmeurs moins expérimentés ou travaillant sur des projets plus petits ou moins familiers.
Malgré le ralentissement observé, beaucoup continuent d'utiliser ces outils, notant que l'IA peut rendre certains aspects du développement moins mentalement éprouvants, transformant le codage en une tâche plus itérative et moins intimidante.
