dbt Labs und Fivetran verlagern dbt-Workloads Modell für Modell in den Data Lake
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Teams können dbt-Workloads schrittweise in einen offenen, Iceberg-basierten Data Lake verlagern – mit dem verwalteten Data Lake von Fivetran, einem "Move", der Snowflake-native Tabellen direkt an Ort und Stelle nach Iceberg überführt, ohne abhängige dbt-Modelle und BI-Dashboards zu beeinträchtigen, sowie Lake Compute, das einfache dbt-Modelle nacheinander auf günstigere Lake-native Rechenleistung verlagert. Der Ansatz basiert auf einem Iceberg-REST-Katalog (Apache Polaris, mit Glue- oder Unity-Catalog-Integration), sodass Snowflake, Databricks und BigQuery dieselben Daten nutzen können. Er senkte die Compute-Rechnung eines Snowflake-Kunden um etwa 15 bis 20 Prozent und zielt auf Ingestion und Transformation, die laut den Referenten rund 75 Prozent der Stack-Ausgaben ausmachen.
So lassen sich dbt-Workloads Modell für Modell in einen Data Lake überführen – ganz ohne radikale Komplettmigration.
