SweetwaterがDatadogで実現する、誰も気づかないうちに壊れたdbtパイプラインを検知する仕組み

Sweetwaterのアナリティクスエンジニアリングのリーダーたちが、DBAやデータエンジニアがすでに使っているDatadogを、dbtプラットフォームの上流にまで拡張した方法を紹介します。これにより、事後対応のデバッグから先回りの監視へと移行しました。スキーマ全体を対象としたモニター、テーブルごとに調整した行数・鮮度チェック、MLによるアラートしきい値が柱です。一例として、1時間ごとに更新されるダッシュボードで繰り返し発生していた販売チャネルの欠落を、スケジュール設定が誤っていたレガシースクリプトに突き止めた事例があります。