Apache Spark® 4.3 vorgestellt – jetzt in Databricks Runtime 19 verfügbar
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Apache Spark 4.3, jetzt in Databricks Runtime 19 verfügbar, bringt Stateful Processing in den Real-Time Mode – mit Streaming-Aggregation, Deduplizierung und benutzerdefinierter Stateful-Logik. Mit den vertrauten Structured-Streaming-APIs werden in drei Benchmarks Ende-zu-Ende-P99-Latenzen unter 150 ms erreicht. Hinzu kommt SCD-Type-2-Unterstützung für Auto CDC in Python, SQL und Spark Connect für Pipelines, die die Historie erhalten, sowie Project Feather, das den Ausführungs-Overhead bei geeigneten Abfragen auf kleinen Datenmengen senkt, und Verbesserungen bei Spark Connect, Python und SQL.
* **Zustand im Real-Time Mode:** Der Real-Time Mode bietet jetzt Streaming-Aggregation, Deduplizierung und benutzerdefinierte Stateful-Verarbeitung und erreicht mit den vertrauten Structured-Streaming-APIs in drei repräsentativen Benchmarks Ende-zu-Ende-P99-Latenzen unter 150 ms. * **Historie erhalten mit SCD Type 2 Auto CDC:** Änderungen an Datensätzen lassen sich über Python, SQL und Spark Connect im Zeitverlauf nachverfolgen – das vereinfacht Pipelines mit Historie für Reporting, Auditing und historische Analysen. * **Schneller iterieren und mit umfangreicheren APIs entwickeln:** Project Feather senkt den Ausführungs-Overhead bei geeigneten Abfragen auf kleinen Datenmengen. Verbesserungen bei Spark Connect, Python und SQL erleichtern Entwicklung, Debugging und Betrieb von Daten- und KI-Anwendungen.