Benchmarking von Coding-Agenten in der Millionen-Zeilen-Codebasis von Databricks

Ein internes Benchmarking über die millionenschwere Codebasis von Databricks hinweg hat gezeigt, dass die Preise pro Token ein irreführender Indikator für die tatsächlichen Entwicklungskosten sind, verglichen mit der Modell-Reasoning-Effizienz und dem harness-Kontextmanagement. Die Evaluierung zeigt, dass Teams die Kosten erheblich senken können, ohne Abstriche bei der Qualität zu machen, indem sie die Aufgabenkomplexität an gestaffelte Modelle anpassen und kostengünstige Standardmodelle wie GLM 5.2 für Routinearbeiten einsetzen.