dbt Mesh で実現するオープンなデータ基盤のかたち

新しい catalogs.yml v2 仕様により、dbt の Iceberg 設定が Snowflake 固有のカタログ統合から切り離された。dbt Mesh のライブデモでは、Snowflake と Databricks 上の3つのチームが、カタログフェデレーションを通じて Horizon と Unity Catalog 経由で1セットの Iceberg テーブルを共有し、データのコピーは一切行われなかった。セッションでは、オープンソースの Polaris カタログを使って Iceberg または Delta のメタデータを顧客自身のクラウドストレージに書き込む Managed Data Lake と、プロジェクトの残りを Snowflake に置いたまま個々の dbt モデルを DuckDB にルーティングする Lake Compute(プライベートベータ)も紹介された。