On-Demand-Neupartitionierung des Zustands für Apache Spark™ Structured Streaming auf Databricks
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Databricks unterstützt jetzt die On-Demand-Neupartitionierung des Zustands für zustandsbehaftete Structured Streaming-Abfragen: Legen Sie spark.sql.streaming.stateStore.partitions fest und starten Sie die Abfrage auf DBR 18+ mit dem RocksDB-Zustandsspeicher-Provider neu, um den Zustand auf eine neue Partitionsanzahl umzuverteilen, ohne den Checkpoint neu aufzubauen. So können Sie lang laufende Streams an den Workload-Bedarf anpassen und jede Größenänderung über Query-Progress-Metriken überwachen.
- Was sich geändert hat: Sie können jetzt die Partitionen einer zustandsbehafteten Streaming-Abfrage in der Größe ändern, ohne den Checkpoint neu aufzubauen oder den Zustand zu verlieren. - So funktioniert es: Legen Sie spark.sql.streaming.stateStore.partitions fest und starten Sie Ihre Abfrage auf DBR 18+ mit dem RocksDB-Zustandsspeicher-Provider neu. Die Abfrage verteilt den Zustand auf die neue Partitionsanzahl um. - Warum das wichtig ist: Optimieren und skalieren Sie lang laufende Streams passend zum Workload und verfolgen Sie jede Größenänderung über Query-Progress-Metriken.