Plateforme de service d'IA qui s'adapte à votre modèle
Traduit de l'original anglais par IA. Voir en anglais
Databricks propose désormais une plateforme de service d'IA entièrement gérée qui s'adapte automatiquement aux besoins en ressources de votre modèle, de scikit-learn aux LLM 70B, sans configuration manuelle. Cela se traduit par une réduction des coûts d'infrastructure allant jusqu'à 90 % et un surcoût de latence p99 inférieur à 10 ms pour les clients migrant depuis des piles auto-gérées.
* Ce que c'est : Une plateforme entièrement gérée qui exécute n'importe quel modèle en production, d'un classificateur scikit-learn de 2 Mo sur un cœur de CPU à un LLM 70B affiné sur huit GPU, sans aucun réglage. * Le défi qu'elle résout : Les modèles personnalisés ont des profils de ressources et des schémas de trafic très différents, de sorte qu'aucune configuration statique unique ne leur convient à tous. La plateforme s'adapte plutôt, maintenant une faible latence tout en gardant chaque nœud efficace. * Les résultats : Plus de 300K QPS avec un surcoût de latence p99 inférieur à 10 ms et jusqu'à 90 % de réduction des coûts d'infrastructure pour les clients migrant depuis des piles auto-gérées.