Pular para o conteúdo
← Todas as notícias
Databricks Blog27 de maio de 2026

Inferência LLM Confiável em Escala

Traduzido do original em inglês por IA. Ver em inglês

Resumo

A Databricks agora oferece unidades de modelo, uma abstração semelhante a uma VM para alocar e escalar recursos de GPU por cliente, permitindo balanceamento de carga e autoescalonamento conscientes dos custos que economizaram mais de 80% nos custos de GPU. Mecanismos de confiabilidade em tempo de execução, como verificações de saúde de caixa preta e perfil de gargalos multimodais, melhoram ainda mais o throughput e se recuperam automaticamente de falhas silenciosas.

* O serviço LLM multi-tenant exige raciocínio sobre a capacidade em todas as cargas de trabalho. As "unidades de modelo" fornecem uma abstração semelhante a uma VM que possibilita alocar, rotear e escalar recursos de GPU por cliente. * O balanceamento de carga e o autoescalonamento conscientes dos custos, construídos sobre unidades de modelo, economizaram mais de 80% nos custos de GPU em comparação com o provisionamento estático, mantendo os alvos de latência. * Mecanismos de confiabilidade em tempo de execução, como verificações de saúde de caixa preta, detectam e se recuperam automaticamente de falhas silenciosas, enquanto o perfil de gargalos multimodais desbloqueou ganhos de throughput de 3x.

Artigos relacionados

News

Apresentando o Unity Gateway Insights

databricks-blog10h ago
News

Novidades do Genie no ecossistema Microsoft: Copilot Cowork e Chat, Microsoft Teams e Excel

databricks-blog17h ago
News

Como a AUMOVIO centralizou o acesso à IA com o Databricks Unity Gateway

databricks-blog18h ago
News

Como aumentamos os limites de taxa de clusters do Databricks em 7,5x

databricks-blog1d ago