Pular para o conteúdo
← Todas as notícias
Databricks Blog6 de outubro de 2026

Escalando e operando um grande projeto dbt no Databricks: a equipe de dados da IFCO sobre performance, visibilidade e depuração

Traduzido do original em inglês por IA. Ver em inglês

Resumo

O ajuste de modelos incrementais do dbt com liquid clustering, dynamic file pruning e estratégias de mesclagem deliberadas reduziu o tempo de execução do job principal da IFCO em mais de 60% e eliminou a necessidade de atualizações completas noturnas. Ao diagnosticar planos de consulta reais executados e orquestrar modelos como tarefas discretas do Databricks Jobs por meio do projeto open-source databricks-dbt-factory, a equipe obteve visibilidade por modelo, reexecuções direcionadas e testes obrigatórios.

* Ajuste de modelos incrementais do dbt para que cada execução grave apenas as linhas alteradas, utilizando liquid clustering, uma estratégia de mesclagem deliberada e dynamic file pruning. Isso reduziu o tempo de execução do job principal da IFCO em mais de 60% e aposentou a atualização completa noturna. * Diagnóstico de modelos lentos a partir do plano de consulta real executado, e não do SQL compilado, pois é aí que aparecem as causas reais. A IFCO empacotou esse diagnóstico em uma habilidade repetível que é executada em cada modelo. * Execução do projeto dbt como uma tarefa por modelo no Databricks Jobs com o databricks-dbt-factory open-source, em vez de um único job opaco. Isso proporciona visibilidade por modelo, reexecuções direcionadas e testes obrigatórios.

Artigos relacionados

News

Arquiteturas de referência Databricks interativas em 70 setores

databricks-blog21h ago
News

Por que o PostgreSQL 19 foi lançado com atraso

databricks-blog1d ago
News

Genie ZeroOps, agora em beta público: um agente autônomo que corrige data pipelines, com lições de 80.000 problemas de clientes

databricks-blog1d ago
News

Precisão do Genie One: por que agentes curados precisam de contexto governado

databricks-blog1d ago