← 전체 뉴스
Databricks Blog2026년 8월 12일
Databricks, 수천만 대의 serverless VM에 네트워크 구성을 전달하는 방식을 재설계
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
Databricks는 serverless 네트워크 구성 전달 체계를 동기식 업스트림 호출 대신 이벤트 기반 파이프라인으로 재구축하여, 백그라운드에서 사전 계산한 뒤 스냅샷 스토어에서 제공하는 방식으로 전환했다. 이를 통해 비용이 큰 다중 서비스 집계 작업을 클러스터 시작 경로에서 제거했다. 하루 수십억 건의 요청 규모에서 이 변경으로 RPC p99 지연 시간이 98.5% 감소했고(5,000ms → 75ms), 가용성은 99.99%로 상승했으며, 업스트림 호출량은 86% 감소했다.
* 이벤트 기반 사전 계산: Databricks는 serverless 네트워크 구성 전달 방식을 동기식 업스트림 호출에서, 백그라운드에서 설정을 사전 계산하고 스냅샷 스토어에서 제공하는 이벤트 기반 파이프라인으로 재설계했다. * 크리티컬 패스 분리: 비용이 큰 다중 서비스 집계 작업을 클러스터 시작 경로에서 분리함으로써, 취약했던 의존성 체인을 단일한 고속 스토리지 읽기로 바꾸었다. * 대규모 환경에서 검증: 하루 수십억 건의 요청 규모에서 RPC p99 지연 시간을 98.5%(5,000ms → 75ms) 줄이고, 가용성을 99.99%로 높였으며, 업스트림 호출량을 86% 줄였다.