Como dbt Labs e Fivetran estão migrando workloads dbt para o data lake, modelo a modelo
Traduzido do original em inglês por IA. Ver em inglês
As equipes podem migrar workloads dbt de forma incremental para um data lake aberto baseado em Iceberg, usando o data lake gerenciado da Fivetran, um "Move" in-place de tabelas nativas do Snowflake para Iceberg que mantém em funcionamento os modelos dbt e os dashboards de BI dependentes, e o Lake Compute, que transfere modelos dbt simples, um a um, para um processamento nativo do lake mais barato. Construída em torno de um catálogo Iceberg REST (Apache Polaris, com integração com Glue ou Unity Catalog) para que Snowflake, Databricks e BigQuery compartilhem os mesmos dados, a abordagem reduziu cerca de 15 a 20% de uma fatura de computação do Snowflake e tem como alvo a ingestão e a transformação, que os palestrantes estimaram em cerca de 75% dos gastos da stack.
Como migrar workloads dbt para um data lake, modelo a modelo, sem uma migração do tipo rip-and-replace.
