WebstaurantStore、Snowflake Cortex AIで700超のソースのdbtステージングを90日で自動化

WebstaurantStoreの3人体制のデータエンジニアリングチームは、人員を増やすことなく、ランディングからブロンズレイヤーまでのdbtステージングを自動化し、90日で700を超えるソースをオンボードしました。同チームの測定では、取り込み速度はおよそ10倍に向上したとのことです。Snowflake CortexのLLM関数がレガシーOLTPのメタデータから読みやすいカラム名とビジネス定義を提案し、エンジニアは中間テーブルでそれらをレビューします。dbtのJinjaマクロは、AIの生の出力ではなくこの中間テーブルを参照します。