Databricks anuncia o reparticionamento sob demanda de estado para Apache Spark™ Structured Streaming
Traduzido do original em inglês por IA. Ver em inglês
O Databricks agora oferece suporte ao reparticionamento sob demanda de estado para consultas com estado do Structured Streaming: defina spark.sql.streaming.stateStore.partitions e reinicie no DBR 18+ com o provedor de armazenamento de estado RocksDB para redistribuir o estado para uma nova quantidade de partições sem reconstruir o checkpoint. Isso permite redimensionar streams de longa duração para atender às demandas da carga de trabalho e monitorar cada redimensionamento por meio das métricas de progresso da consulta.
- O que mudou: agora você pode redimensionar as partições de uma consulta de streaming com estado sem reconstruir o checkpoint ou perder o estado. - Como funciona: defina spark.sql.streaming.stateStore.partitions e reinicie sua consulta no DBR 18+ com o provedor de armazenamento de estado RocksDB. A consulta redistribui o estado para a nova quantidade de partições. - Por que isso importa: ajuste e dimensione streams de longa duração para atender à carga de trabalho, e acompanhe cada redimensionamento por meio das métricas de progresso da consulta.