Benchmarking de agentes de codificação na base de código de milhões de linhas do Databricks

Um benchmark interno na base de código de vários milhões de linhas do Databricks revelou que o preço por token é um indicador enganoso dos custos reais de desenvolvimento em comparação com a eficiência de raciocínio do modelo e o gerenciamento de contexto do harness. A avaliação mostra que as equipes podem reduzir significativamente os gastos sem sacrificar a qualidade, combinando a complexidade da tarefa com modelos em camadas e adotando ferramentas diárias econômicas, como o GLM 5.2, para o trabalho de engenharia de rotina.