Plataforma de Servir IA que se Adapta ao Seu Modelo
Traduzido do original em inglês por IA. Ver em inglês
A Databricks agora oferece uma plataforma de servir IA totalmente gerenciada que se adapta automaticamente às necessidades de recursos do seu modelo, desde scikit-learn até LLMs de 70B, sem configuração manual. Isso resulta em até 90% menos custos de infraestrutura e sobrecarga de latência p99 <10ms para clientes que migram de stacks auto-gerenciados.
* O que é: Uma plataforma totalmente gerenciada que executa qualquer modelo em produção, desde um classificador scikit-learn de 2 MB em um único núcleo de CPU até um LLM de 70B ajustado em oito GPUs, sem necessidade de ajustes. * O desafio que resolve: Modelos personalizados têm perfis de recursos e padrões de tráfego muito diferentes, então nenhuma configuração estática única se encaixa em todos. A plataforma se adapta, mantendo a latência baixa e cada nó eficiente. * Os resultados: Mais de 300K QPS com sobrecarga de latência p99 <10ms e até 90% menos custos de infraestrutura para clientes que migram de stacks auto-gerenciados.