Como mantemos as GPUs confiáveis em Databricks AI
Traduzido do original em inglês por IA. Ver em inglês
O Databricks AI usa uma abordagem multifacetada para garantir a confiabilidade das GPUs, lidando com falhas de jobs, lentidões silenciosas e corrupção numérica por meio de validação pré-carga, monitoramento em tempo de execução e verificações de integridade do fabric entre nós. Testado sob estresse por cargas de trabalho diversas e em grande escala, como RL para codificação agêntica, este sistema detecta problemas como instabilidade de fabric e pontos quentes térmicos antes que afetem a produção em maior escala.
* Falhas de GPU em escala geralmente se enquadram em três categorias: jobs que falham e se tornam óbvios, lentidões silenciosas que gargalam discretamente o throughput na GPU mais lenta e corrupção numérica que produz resultados incorretos. * O Databricks AI testa a plataforma sob estresse com cargas de trabalho diversas e em grande escala, como RL para codificação agêntica. Isso traz à tona instabilidades de fabric, pontos quentes térmicos e casos extremos de comunicação coletiva antes que cheguem à produção mais ampla. * Um sistema de verificação de integridade precisa detectar falhas em todo o ciclo de vida do nó. Isso significa validar o hardware da GPU antes do início das cargas de trabalho, monitorar a degradação silenciosa sob carga e sondar a integridade do fabric NCCL entre os nós no intervalo.