dbt LabsとFivetran、dbtワークロードをモデル単位でデータレイクへ移行

Fivetranのマネージド型データレイク、Snowflakeネイティブテーブルを Iceberg へその場で変換する「Move」(依存するdbtモデルやBIダッシュボードはそのまま動作)、そしてシンプルなdbtモデルを1つずつ低コストなレイクネイティブのコンピュートへ移すLake Computeを使えば、dbtワークロードをオープンなIceberg基盤のデータレイクへ段階的に移行できます。Iceberg RESTカタログ(Apache Polaris、GlueまたはUnity Catalogとの統合に対応)を軸に、Snowflake、Databricks、BigQueryが同じデータを共有できる設計で、あるSnowflakeのコンピュート費用を約15〜20%削減しました。対象は、登壇者がスタック全体の支出の約75%と見積もるインジェストと変換です。