Wie Sweetwater mit Datadog defekte dbt-Pipelines erkennt, bevor es jemand bemerkt

Die Leiter des Analytics Engineering bei Sweetwater zeigen, wie sie Datadog, das ihre DBAs und Data Engineers bereits nutzen, bis in ihre dbt-Plattform hinein ausgeweitet haben. Damit ersetzten sie reaktives Debugging durch proaktives Monitoring: schemaweite Monitore, auf jede Tabelle abgestimmte Prüfungen von Zeilenanzahl und Aktualität sowie ML-gestützte Alarmschwellen. Ein Beispiel ist eine wiederkehrende Lücke bei einem Vertriebskanal in einem stündlich aktualisierten Dashboard, die sie auf ein falsch geplantes Legacy-Skript zurückführten.