수백만 줄 규모의 Databricks 코드베이스에서의 코딩 에이전트 벤치마킹

Databricks의 수백만 줄 규모 코드베이스를 대상으로 한 내부 벤치마크 결과, 토큰당 가격은 모델 추론 효율성 및 harness 컨텍스트 관리에 비해 실제 개발 비용을 오인하게 만드는 지표인 것으로 나타났습니다. 평가에 따르면 팀은 작업 복잡성에 맞춰 단계별 모델을 적용하고 일상적인 엔지니어링 작업에 GLM 5.2와 같은 비용 효율적인 주력 모델을 도입함으로써 품질 저하 없이 비용을 크게 절감할 수 있습니다.