← ニュース一覧
Databricks Blog2026年9月14日
DatabricksのApache Spark™ Structured Streamingで、オンデマンドのステート再パーティショニングが利用可能に
英語原文から AI が翻訳しました。 英語版を見る
要約
Databricksは、ステートフルなStructured Streamingクエリに対するオンデマンドのステート再パーティショニングに対応しました。DBR 18以降でRocksDBステートストアプロバイダーを使用し、spark.sql.streaming.stateStore.partitionsを設定してクエリを再起動することで、チェックポイントを再構築せずにステートを新しいパーティション数に再分散できます。これにより、長時間稼働するストリームをワークロードの需要に合わせてリサイズし、各リサイズをクエリの進捗メトリクスで監視できます。
- 変更点: チェックポイントを再構築したりステートを失ったりすることなく、ステートフルなストリーミングクエリのパーティション数をリサイズできるようになりました。 - 仕組み: DBR 18以降でRocksDBステートストアプロバイダーを使用し、spark.sql.streaming.stateStore.partitionsを設定してクエリを再起動します。クエリはステートを新しいパーティション数に再分散します。 - 重要性: ワークロードに合わせて長時間稼働するストリームをチューニング・スケーリングし、各リサイズをクエリの進捗メトリクスで追跡できます。