Comment dbt Labs et Fivetran migrent les workloads dbt vers le data lake, modèle par modèle

Les équipes peuvent migrer leurs workloads dbt de façon incrémentale vers un data lake ouvert basé sur Iceberg, grâce au data lake géré de Fivetran, à un « Move » sur place des tables natives Snowflake vers Iceberg qui préserve le fonctionnement des modèles dbt et des tableaux de bord BI dépendants, et à Lake Compute, qui bascule les modèles dbt simples, un par un, vers un calcul natif du lake moins coûteux. Construite autour d'un catalogue Iceberg REST (Apache Polaris, avec intégration Glue ou Unity Catalog) afin que Snowflake, Databricks et BigQuery partagent les mêmes données, l'approche a réduit d'environ 15 à 20 % une facture de calcul Snowflake et cible l'ingestion et la transformation, que les intervenants estiment à environ 75 % des dépenses de la stack.