Plataforma de AI Serving que se adapta ao seu modelo
Traduzido do original em inglês por IA. Ver em inglês
O Databricks agora oferece uma plataforma de AI Serving totalmente gerenciada que se adapta automaticamente às necessidades de recursos do seu modelo, desde scikit-learn até LLMs de 70B, sem configuração manual. Isso resulta em custos de infraestrutura até 90% menores e <10ms de overhead de latência p99 para clientes migrando de pilhas autogerenciadas.
* O que é: Uma plataforma totalmente gerenciada que executa qualquer modelo em produção, desde um classificador scikit-learn de 2 MB em um núcleo de CPU até um LLM de 70B fine-tuned em oito GPUs, sem ajustes manuais. * O desafio que resolve: Modelos personalizados têm perfis de recursos e padrões de tráfego drasticamente diferentes, portanto nenhuma configuração estática atende a todos. A plataforma se adapta, mantendo a latência baixa e a eficiência em cada nó. * Os resultados: Mais de 300 mil QPS com <10ms de overhead de latência p99 e até 90% de redução no custo de infraestrutura para clientes que migram de pilhas autogerenciadas.