Como a WMCHealth reduziu um pipeline dbt de 72 para 5 minutos com uma única variável de ambiente
Traduzido do original em inglês por IA. Ver em inglês
A WMCHealth reduziu a atualização de um pipeline dbt de 72 minutos para cinco minutos ao alternar um modelo entre dois modos de execução com uma única variável de ambiente, `ENV_NRT`: apenas os registros ativos como tabela a cada cinco minutos, ou o conjunto de dados completo de forma incremental durante a noite. O padrão roda a partir de uma única base de código, reduz o tempo de execução mediano em 93,6% (de 4.340 para 278 segundos) e processa mais de 99% menos dados a cada execução em tempo quase real. Ele depende da propagação via inner join para levar o escopo reduzido por todo o DAG sem custo adicional.
A WMCHealth usou um único modelo dbt para atender análises a cada cinco minutos e uma auditoria noturna completa.
