Évaluation comparative des agents de codage sur la base de code de plusieurs millions de lignes de Databricks

Un benchmark interne mené sur la base de code de plusieurs millions de lignes de Databricks a révélé que le coût par token est un indicateur trompeur des coûts de développement réels par rapport à l'efficacité du raisonnement des modèles et à la gestion du contexte du harness. L'évaluation montre que les équipes peuvent réduire considérablement leurs dépenses sans sacrifier la qualité en adaptant la complexité des tâches à des modèles échelonnés et en adoptant des solutions quotidiennes rentables telles que GLM 5.2 pour les tâches d'ingénierie de routine.