Apache Spark® 4.3 を発表 – Databricks Runtime 19 で利用可能に
英語原文から AI が翻訳しました。 英語版を見る
Databricks Runtime 19 で利用可能になった Apache Spark 4.3 では、Real-Time Mode にステートフル処理が加わり、ストリーミング集計、重複排除、カスタムのステートフルロジックに対応しました。使い慣れた Structured Streaming API のまま、3 つのベンチマークでエンドツーエンドの P99 レイテンシ 150 ms 未満を達成しています。また、履歴を保持するパイプライン向けに、Python、SQL、Spark Connect の Auto CDC で SCD Type 2 をサポートしました。さらに、対象となる小規模データのクエリで実行オーバーヘッドを削減する Project Feather に加え、Spark Connect、Python、SQL も改善されています。
* **Real-Time Mode にステートを導入:** Real-Time Mode にストリーミング集計、重複排除、カスタムのステートフル処理が加わりました。使い慣れた Structured Streaming API で、代表的な 3 つのベンチマークにおいてエンドツーエンドの P99 レイテンシ 150 ms 未満を達成しています。 * **SCD Type 2 の Auto CDC で履歴を保持:** Python、SQL、Spark Connect からレコードの経時変化を追跡でき、レポーティング、監査、履歴分析向けの履歴保持パイプラインを簡素化します。 * **より速い反復開発と、より充実した API:** Project Feather は対象となる小規模データのクエリの実行オーバーヘッドを削減します。Spark Connect、Python、SQL の改善により、データおよび AI アプリケーションの開発、デバッグ、運用がしやすくなります。