← 전체 뉴스
Databricks Blog2026년 9월 14일
Databricks, Apache Spark™ Structured Streaming의 온디맨드 상태 리파티셔닝 발표
영어 원문을 AI가 번역했습니다. 영어로 보기
요약
Databricks는 이제 상태 저장 Structured Streaming 쿼리에 대해 온디맨드 상태 리파티셔닝을 지원합니다. DBR 18 이상에서 RocksDB 상태 저장소 제공자를 사용해 spark.sql.streaming.stateStore.partitions를 설정하고 쿼리를 재시작하면, 체크포인트를 다시 만들지 않고도 상태를 새로운 파티션 수로 재분배할 수 있습니다. 이를 통해 장기 실행 스트림을 워크로드 요구에 맞게 크기를 조정하고, 쿼리 진행 메트릭을 통해 각 크기 조정을 모니터링할 수 있습니다.
- 변경 사항: 이제 체크포인트를 다시 만들거나 상태를 잃지 않고도 상태 저장 스트리밍 쿼리의 파티션 수를 조정할 수 있습니다. - 작동 방식: DBR 18 이상에서 RocksDB 상태 저장소 제공자를 사용해 spark.sql.streaming.stateStore.partitions를 설정하고 쿼리를 재시작하세요. 쿼리는 상태를 새로운 파티션 수로 재분배합니다. - 중요한 이유: 워크로드에 맞게 장기 실행 스트림을 튜닝하고 확장하며, 쿼리 진행 메트릭을 통해 각 크기 조정을 추적할 수 있습니다.