Apresentamos o Apache Spark® 4.3, já disponível no Databricks Runtime 19
Traduzido do original em inglês por IA. Ver em inglês
O Apache Spark 4.3, já disponível no Databricks Runtime 19, traz processamento com estado ao Real-Time Mode, com agregação em streaming, deduplicação e lógica com estado personalizada, alcançando latência P99 de ponta a ponta abaixo de 150 ms em três benchmarks com as APIs conhecidas do Structured Streaming. A versão também adiciona suporte a SCD Type 2 no Auto CDC em Python, SQL e Spark Connect para pipelines que preservam o histórico, além do Project Feather, que reduz a sobrecarga de execução em consultas elegíveis com poucos dados, e melhorias no Spark Connect, Python e SQL.
* **Estado no Real-Time Mode:** o Real-Time Mode agora oferece agregação em streaming, deduplicação e processamento com estado personalizado, com latência P99 de ponta a ponta abaixo de 150 ms em três benchmarks representativos, usando as APIs conhecidas do Structured Streaming. * **Preserve o histórico com SCD Type 2 no Auto CDC:** acompanhe como os registros mudam ao longo do tempo com Python, SQL e Spark Connect, simplificando pipelines que preservam o histórico para relatórios, auditoria e análise histórica. * **Itere mais rápido e desenvolva com APIs mais ricas:** o Project Feather reduz a sobrecarga de execução em consultas elegíveis com poucos dados, e as melhorias no Spark Connect, Python e SQL facilitam o desenvolvimento, a depuração e a operação de aplicações de dados e de IA.