KI-Serving-Plattform, die sich an Ihr Modell anpasst
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
Databricks bietet jetzt eine vollständig verwaltete KI-Serving-Plattform, die sich automatisch an die Ressourcenanforderungen Ihres Modells anpasst, von scikit-learn bis zu 70B LLMs, ohne manuelle Konfiguration. Dies führt zu bis zu 90 % niedrigeren Infrastrukturkosten und <10ms p99 Latenz-Overhead für Kunden, die von selbstverwalteten Stacks migrieren.
* Was es ist: Eine vollständig verwaltete Plattform, die jedes Modell in Produktion ausführt, von einem 2 MB scikit-learn-Klassifikator auf einem CPU-Kern bis zu einem feinabgestimmten 70B LLM auf acht GPUs, ohne manuelle Einstellungen. * Die Herausforderung, die es löst: Benutzerdefinierte Modelle haben sehr unterschiedliche Ressourcenprofile und Traffic-Muster, sodass keine einzelne statische Konfiguration für alle passt. Die Plattform passt sich stattdessen an, hält die Latenz niedrig und sorgt gleichzeitig für die Effizienz jedes Knotens. * Die Ergebnisse: 300K+ QPS bei <10ms p99 Latenz-Overhead und bis zu 90 % geringere Infrastrukturkosten für Kunden, die von selbstverwalteten Stacks migrieren.