Aceleração do treinamento de GPU em tabelas do Unity Catalog com o UCDataset
Traduzido do original em inglês por IA. Ver em inglês
Disponível agora em beta, o UCDataset é um carregador de dados nativo que transmite dados diretamente de tabelas do Unity Catalog para GPUs, acelerando os tempos de treinamento em 10x e reduzindo os custos de computação. Ele se conecta diretamente aos loops de treinamento padrão do PyTorch para lidar com o sharding de dados multi-GPU sem código personalizado, garantindo a governança automática.
* Acelere os tempos de treinamento **em 10x** e reduza os custos de computação com o UCDataset, um carregador de dados nativo atualmente em beta que transmite dados diretamente das tabelas do Unity Catalog para suas GPUs * O UCDataset se conecta diretamente aos loops de treinamento padrão do PyTorch e gerencia automaticamente o sharding de dados multi-GPU sem exigir código personalizado * Ao ler os dados de treinamento diretamente do Unity Catalog, você garante que a governança seja aplicada automaticamente