Databricks refond la diffusion de la configuration réseau vers des dizaines de millions de VM serverless
Traduit de l'original anglais par IA. Voir en anglais
Databricks a reconstruit la diffusion de la configuration réseau serverless autour d'un pipeline événementiel, remplaçant les appels amont synchrones par un précalcul en arrière-plan servi depuis un magasin de snapshots, ce qui a supprimé l'agrégation coûteuse multi-services du chemin de démarrage des clusters. À raison de milliards de requêtes par jour, ce changement a réduit la latence p99 des RPC de 98,5 % (5 000 ms à 75 ms), porté la disponibilité à 99,99 % et réduit le volume d'appels amont de 86 %.
* Précalcul événementiel : Databricks a repensé la diffusion de la configuration réseau serverless, passant d'appels amont synchrones à un pipeline événementiel qui précalcule les configurations en arrière-plan et les sert depuis un magasin de snapshots. * Chemin critique découplé : en sortant l'agrégation coûteuse multi-services du chemin de démarrage des clusters, une chaîne de dépendances fragile est devenue une simple lecture de stockage rapide. * Éprouvé à grande échelle : sur des milliards de requêtes par jour, cela a réduit la latence p99 des RPC de 98,5 % (5 000 ms → 75 ms), porté la disponibilité à 99,99 % et réduit le volume d'appels amont de 86 %.