Como a Sweetwater detecta pipelines dbt quebrados com o Datadog antes que alguém perceba

Os líderes de engenharia de analytics da Sweetwater mostram como estenderam o Datadog, já usado por seus DBAs e engenheiros de dados, até a plataforma dbt. Com isso, a depuração reativa deu lugar ao monitoramento proativo: monitores em todo o schema, verificações de contagem de linhas e de atualização ajustadas a cada tabela e limites de alerta baseados em ML. Um exemplo é a lacuna recorrente em um canal de vendas num dashboard atualizado a cada hora, que eles rastrearam até um script legado com agendamento incorreto.