10 trilhões de amostras por dia: Escalando além da infraestrutura de monitoramento tradicional na Databricks
Traduzido do original em inglês por IA. Ver em inglês
A Databricks agora processa 10 trilhões de amostras diariamente, escalando além da infraestrutura de monitoramento tradicional ao reestruturar as camadas TSDB e de agregação com soluções de código aberto personalizadas. Uma nova plataforma baseada em Lakehouse, Hydra, oferece ricas capacidades de depuração para métricas de alta cardinalidade com armazenamento 50 vezes mais barato.
Os sistemas de monitoramento da Databricks gerenciam mais de 5 bilhões de séries temporais ativas em tempo real em AWS, Azure e GCP. Para manter esses sistemas confiáveis e de baixa manutenção, apesar do rápido dimensionamento, reestruturamos nossas camadas TSDB e de agregação, personalizando soluções de monitoramento de código aberto. Diante do grande crescimento em métricas de solução de problemas de alta cardinalidade, desenvolvemos uma nova plataforma baseada em Lakehouse chamada Hydra. Essa abordagem desbloqueou ricas capacidades de depuração em escala massiva e armazenamento 50 vezes mais barato do que nossa pilha existente.