数百万行規模のDatabricksコードベースにおけるコーディングエージェントのベンチマーク

Databricksの数百万行規模のコードベースを用いた社内ベンチマークの結果、トークン単価は、モデルの推論効率やharnessコンテキスト管理と比較すると、実際の開発コストの指標としては不十分であることが判明しました。タスクの複雑さに応じてモデルの階層を使い分け、日常のエンジニアリング業務にGLM 5.2のような費用対効果の高い日常的ツールを採用することで、チームは品質を犠牲にすることなく費用を大幅に削減できることが評価から示されています。