Entraînement PyTorch rapide et tolérant aux pannes sur AI Runtime
Traduit de l'original anglais par IA. Voir en anglais
L'entraînement PyTorch rapide et tolérant aux pannes sur AI Runtime considère les pannes GPU comme un cas attendu plutôt qu'une exception, en utilisant les sauvegardes de checkpoints asynchrones distribuées de torch pour rendre le checkpointing fréquent quasi gratuit et réduire le coût de récupération. Il soutient également que le checkpointing du pipeline de données en parallèle du modèle est essentiel, car des checkpoints limités au modèle peuvent corrompre silencieusement les données d'entraînement lors de la reprise.
* À grande échelle, les pannes GPU sont la norme, pas l'exception : le code doit être conçu pour y survivre. * Les sauvegardes de checkpoints asynchrones distribuées de torch rendent le checkpointing fréquent quasi gratuit, permettant un checkpointing plus fréquent et réduisant le coût de récupération. * Le checkpointing du modèle seul ne suffit pas ; celui du pipeline de données évite une corruption silencieuse des données d'entraînement lors de la reprise.