Wie der Databricks Feature Store Features mit Aktualität in Bruchteilen einer Sekunde bereitstellt
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Der Databricks Feature Store liefert Streaming-Feature-Updates von Kafka jetzt mit einer p99-Latenz von 200 ms an den Online-Store und senkt die Feature-Aktualitätsverzögerung damit von Minuten oder Stunden auf Millisekunden. Die Verbesserungen beruhen auf der kontinuierlichen, ereignisbasierten Verarbeitung und der amortisierten Checkpoint-Erstellung von Spark Real-Time Mode in Kombination mit der Trennung von Compute und Storage bei Lakebase, die zusammen latenzarme, durchsatzstarke Schreibvorgänge für Echtzeit-Modellinferenz ermöglichen.
* Der Databricks Feature Store bringt Echtzeit-Aktualität für ML-Features: Streaming-Aggregationen aus Kafka können den Online-Feature-Store jetzt mit einer p99-Latenz von 200 ms erreichen und verkürzen die Feature-Verzögerung von Minuten oder Stunden auf Millisekunden. * Spark Real-Time Mode (RTM) macht Feature-Berechnungen im Millisekundenbereich möglich: RTM verarbeitet Zeilen kontinuierlich, statt auf Mikrobatches zu warten, aktualisiert Rolling-Window-Aggregationen pro Ereignis und amortisiert die Checkpoint-Erstellung, um die Latenz beim zustandsbehafteten Streaming niedrig zu halten. * Lakebase ermöglicht durchsatzstarke Online-Feature-Schreibvorgänge: Die Trennung von Compute- und Storage-Schicht reduziert die Schreibverstärkung bei häufigen kleinen Upserts und stellt so aktuelle Feature-Werte schnell für latenzarme Modellinferenz bereit.