10 billions d'échantillons par jour : Dépasser l'infrastructure de surveillance traditionnelle chez Databricks
Traduit de l'original anglais par IA. Voir en anglais
Databricks traite désormais 10 billions d'échantillons par jour, dépassant l'infrastructure de surveillance traditionnelle en réarchitecturant les couches TSDB et d'agrégation avec des solutions open-source personnalisées. Une nouvelle plateforme basée sur Lakehouse, Hydra, offre de riches capacités de débogage pour les métriques à haute cardinalité avec un stockage 50 fois moins cher.
Les systèmes de surveillance de Databricks gèrent plus de 5 milliards de séries temporelles actives en temps réel sur AWS, Azure et GCP. Pour maintenir ces systèmes fiables et peu exigeants malgré une mise à l'échelle rapide, nous avons réarchitecturé nos couches TSDB et d'agrégation en personnalisant des solutions de surveillance open-source. Face à une forte croissance des métriques de dépannage à haute cardinalité, nous avons développé une nouvelle plateforme basée sur Lakehouse appelée Hydra. Cette approche a débloqué de riches capacités de débogage à grande échelle et un stockage 50 fois moins cher que notre pile existante.