Comment Databricks Feature Store diffuse des features avec une fraîcheur inférieure à la seconde
Traduit de l'original anglais par IA. Voir en anglais
Databricks Feature Store distribue désormais les mises à jour de features en streaming depuis Kafka vers le feature store en ligne avec une latence p99 de 200 ms, réduisant l'obsolescence des features de plusieurs minutes ou heures à quelques millisecondes. Ces gains proviennent du traitement continu événement par événement et du checkpointing amorti de Spark Real-Time Mode, combinés à la séparation compute-stockage de Lakebase, qui permettent ensemble des écritures à faible latence et à haut débit pour l'inférence de modèles en temps réel.
* Databricks Feature Store apporte une fraîcheur en temps réel aux features de ML : les agrégations en streaming depuis Kafka peuvent désormais atteindre le feature store en ligne avec une latence p99 de 200 ms, réduisant le décalage des features de plusieurs minutes ou heures à quelques millisecondes. * Spark Real-Time Mode (RTM) rend possible le calcul de features à la milliseconde : RTM traite les lignes en continu au lieu d'attendre des micro-batchs, met à jour les agrégations à fenêtre glissante à chaque événement, et amortit le checkpointing pour maintenir une faible latence du streaming avec état. * Lakebase permet des écritures de features en ligne à haut débit : la séparation des couches compute et stockage réduit l'amplification d'écriture pour les upserts fréquents de petite taille, rendant les valeurs de features à jour rapidement disponibles pour l'inférence de modèles à faible latence.