Databricks baut Auslieferung der Netzwerkkonfiguration für zig Millionen Serverless-VMs neu auf
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Databricks hat die Auslieferung der Netzwerkkonfiguration für Serverless-Umgebungen rund um eine ereignisgesteuerte Pipeline neu aufgebaut und synchrone Upstream-Aufrufe durch eine im Hintergrund vorberechnete Bereitstellung aus einem Snapshot-Store ersetzt, wodurch die teure Aggregation über mehrere Dienste aus dem Cluster-Startpfad entfiel. Bei Milliarden von Anfragen pro Tag senkte die Änderung die RPC-p99-Latenz um 98,5 % (von 5.000 ms auf 75 ms), erhöhte die Verfügbarkeit auf 99,99 % und reduzierte das Upstream-Aufrufvolumen um 86 %.
* Ereignisgesteuerte Vorberechnung: Databricks hat die Auslieferung der Netzwerkkonfiguration für Serverless-Umgebungen von synchronen Upstream-Aufrufen auf eine ereignisgesteuerte Pipeline umgestellt, die Konfigurationen im Hintergrund vorberechnet und aus einem Snapshot-Store bereitstellt. * Entkoppelter kritischer Pfad: Durch das Verlagern der teuren Multi-Service-Aggregation aus dem Cluster-Startpfad wurde aus einer fragilen Abhängigkeitskette ein einziger, schneller Speicherzugriff. * In großem Maßstab bewährt: Bei Milliarden von Anfragen pro Tag senkte dies die RPC-p99-Latenz um 98,5 % (5.000 ms → 75 ms), erhöhte die Verfügbarkeit auf 99,99 % und reduzierte das Upstream-Aufrufvolumen um 86 %.