← ニュース一覧
Databricks Blog2026年10月6日
Databricksでの大規模なdbtプロジェクトのスケールと運用:IFCOのデータチームが語るパフォーマンス、可視性、デバッグ
英語原文から AI が翻訳しました。 英語版を見る
要約
リキッドクラスタリング、動的ファイルプルーニング、適切なマージ戦略を用いたdbtインクリメンタルモデルのチューニングにより、IFCOのコアジョブの実行時間が60%以上短縮され、夜間のフルリフレッシュが不要になりました。実際に実行されたクエリプランの診断と、オープンソースのdatabricks-dbt-factoryを活用した個別モデルのDatabricks Jobsタスクとしてのオーケストレーションにより、チームはモデルごとの可視性、ターゲットを絞った再実行、厳格なテストを実現しました。
* リキッドクラスタリング、適切なマージ戦略、動的ファイルプルーニングを使用し、各実行で変更された行のみが書き込まれるようdbtインクリメンタルモデルをチューニング。これによりIFCOのコアジョブ実行時間が60%以上短縮され、夜間のフルリフレッシュが不要になりました。 * コンパイルされたSQLではなく、実際に実行されたクエリプランから低速なモデルを診断することで、真の原因を特定。IFCOはこの診断プロセスを、すべてのモデルで実行可能な再利用可能なスキルとしてパッケージ化しました。 * 単一の不透明なジョブとしてではなく、オープンソースのdatabricks-dbt-factoryを使用してモデルごとに1つのタスクとしてDatabricks Jobsでdbtプロジェクトを実行。これにより、モデルごとの可視性、ターゲットを絞った再実行、厳格なテストが可能になりました。