Como o Databricks Feature Store entrega features com atualização em menos de um segundo
Traduzido do original em inglês por IA. Ver em inglês
O Databricks Feature Store agora entrega atualizações de features em streaming do Kafka para o feature store online com latência p99 de 200ms, reduzindo a defasagem das features de minutos ou horas para milissegundos. Os ganhos vêm do processamento contínuo por evento e do checkpointing amortizado do Spark Real-Time Mode, combinados com a separação entre compute e armazenamento do Lakebase, que juntos permitem gravações de baixa latência e alta capacidade para inferência de modelos em tempo real.
* O Databricks Feature Store traz atualização em tempo real para features de ML: agregações em streaming do Kafka agora podem chegar ao feature store online com latência p99 de 200ms, reduzindo a defasagem das features de minutos ou horas para milissegundos. * O Spark Real-Time Mode (RTM) viabiliza o cálculo de features em milissegundos: o RTM processa linhas continuamente em vez de esperar por microbatches, atualiza agregações de janela móvel a cada evento e amortiza o checkpointing para manter baixa a latência do streaming stateful. * O Lakebase possibilita gravações de features online com alta capacidade: a separação entre as camadas de compute e armazenamento reduz a amplificação de escrita em upserts pequenos e frequentes, disponibilizando rapidamente valores de features atualizados para inferência de modelos de baixa latência.