Databricks annonce le repartitionnement à la demande de l'état pour Apache Spark™ Structured Streaming
Traduit de l'original anglais par IA. Voir en anglais
Databricks prend désormais en charge le repartitionnement à la demande de l'état pour les requêtes Structured Streaming avec état : définissez spark.sql.streaming.stateStore.partitions et redémarrez la requête sur DBR 18+ avec le fournisseur de magasin d'état RocksDB pour redistribuer l'état vers un nouveau nombre de partitions sans reconstruire le checkpoint. Cela permet de redimensionner les flux de longue durée selon la charge de travail et de suivre chaque redimensionnement via les métriques de progression des requêtes.
- Ce qui change : vous pouvez désormais redimensionner les partitions d'une requête de streaming avec état sans reconstruire le checkpoint ni perdre l'état. - Comment ça marche : définissez spark.sql.streaming.stateStore.partitions et redémarrez votre requête sur DBR 18+ avec le fournisseur de magasin d'état RocksDB. La requête redistribue l'état vers le nouveau nombre de partitions. - Pourquoi c'est important : ajustez et adaptez l'échelle des flux de longue durée à la charge de travail, et suivez chaque redimensionnement via les métriques de progression des requêtes.