Présentation d'Apache Spark® 4.3 : désormais disponible dans Databricks Runtime 19
Traduit de l'original anglais par IA. Voir en anglais
Apache Spark 4.3, désormais disponible dans Databricks Runtime 19, apporte le traitement avec état au Real-Time Mode, avec agrégation en streaming, déduplication et logique avec état personnalisée. Grâce aux API Structured Streaming habituelles, la latence P99 de bout en bout reste inférieure à 150 ms sur trois benchmarks. La version ajoute aussi la prise en charge de SCD Type 2 dans Auto CDC en Python, SQL et Spark Connect pour des pipelines qui conservent l'historique, ainsi que Project Feather, qui réduit la surcharge d'exécution des requêtes éligibles sur de petits volumes de données, et des améliorations de Spark Connect, Python et SQL.
* **L'état arrive dans le Real-Time Mode :** le Real-Time Mode ajoute l'agrégation en streaming, la déduplication et le traitement avec état personnalisé, avec une latence P99 de bout en bout inférieure à 150 ms sur trois benchmarks représentatifs, grâce aux API Structured Streaming habituelles. * **Conserver l'historique avec SCD Type 2 Auto CDC :** suivez l'évolution des enregistrements dans le temps via Python, SQL et Spark Connect, pour simplifier les pipelines conservant l'historique destinés au reporting, à l'audit et à l'analyse historique. * **Itérer plus vite avec des API plus riches :** Project Feather réduit la surcharge d'exécution des requêtes éligibles sur de petits volumes de données, tandis que les améliorations de Spark Connect, Python et SQL facilitent le développement, le débogage et l'exploitation des applications de données et d'IA.