Sweetwater, Datadog으로 아무도 모르게 깨진 dbt 파이프라인을 미리 잡아낸다

Sweetwater의 애널리틱스 엔지니어링 리더들이 DBA와 데이터 엔지니어가 이미 사용하던 Datadog을 dbt 플랫폼 상류까지 확장한 과정을 소개합니다. 이를 통해 사후 디버깅 대신 사전 모니터링 체계를 갖추었습니다. 스키마 전체를 대상으로 하는 모니터, 테이블별로 조정한 행 수 및 최신성 검사, ML 기반 알림 임곗값이 핵심입니다. 한 사례로, 매시간 갱신되는 대시보드에서 반복되던 판매 채널 누락 문제의 원인이 잘못 스케줄링된 레거시 스크립트임을 추적해 밝혀냈습니다.