Aller au contenu
← Toutes les actus
Databricks Blog22 mai 2026

Accélérer l'inférence LLM avec le cache de prompts pour les modèles open source sur Databricks

Traduit de l'original anglais par IA. Voir en anglais

Résumé

Databricks prend désormais en charge le cache de prompts pour les modèles open source sur toutes les charges de travail, accélérant automatiquement l'inférence LLM en réutilisant les préfixes de prompts répétés. Cette fonctionnalité augmente le débit de 2,5x et réduit la latence P50 de 3x pour des modèles comme GPT-OSS, sans aucune configuration requise.

* Le cache de prompts réutilise les préfixes de prompts répétés pour que les LLM s'exécutent plus rapidement. Il réduit la latence et augmente le débit automatiquement. * Databricks prend désormais en charge le cache de prompts pour les modèles open source sur les charges de travail par lots, au paiement par jeton et provisionnées. Aucune configuration n'est requise. * En production sur GPT-OSS, le cache de prompts a augmenté le débit de 2,5x et réduit la latence P50 de 3x.

Articles similaires

News

Présentation de Unity Gateway Insights

databricks-blog10h ago
News

Nouveautés pour Genie dans Microsoft : Copilot Cowork et Chat, Microsoft Teams et Excel

databricks-blog17h ago
News

Comment AUMOVIO a centralisé l'accès à l'IA avec Databricks Unity Gateway

databricks-blog18h ago
News

Comment nous avons multiplié par 7,5 les limites de débit des clusters Databricks

databricks-blog1d ago