So sieht offene Ddateninfrastruktur mit dbt Mesh aus
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Eine neue catalogs.yml-v2-Spezifikation entkoppelt die Iceberg-Konfiguration von dbt von Snowflake-spezifischen Katalogintegrationen. In einer Live-Demo von dbt Mesh teilten drei Teams auf Snowflake und Databricks per Catalog Federation über Horizon und Unity Catalog einen gemeinsamen Satz von Iceberg-Tabellen – ohne dass Daten kopiert wurden. In der Session wurden außerdem Managed Data Lake, das Iceberg- oder Delta-Metadaten mithilfe des Open-Source-Katalogs Polaris in den eigenen Cloud-Speicher der Kunden schreibt, sowie Lake Compute (Private Beta) vorgestellt, das einzelne dbt-Modelle an DuckDB weiterleitet, während der Rest des Projekts auf Snowflake bleibt.
Eine Demo von dbt Mesh auf Apache Iceberg.
