Beschleunigung des GPU-Trainings auf Unity Catalog-Tabellen mit UCDataset
Von KI aus dem englischen Original übersetzt. Auf Englisch ansehen
UCDataset befindet sich jetzt in der Beta-Phase und ist ein nativer DataLoader, der Daten direkt von Unity Catalog-Tabellen an GPUs streamt, was die Trainingszeiten um das Zehnfache beschleunigt und die Rechenkosten senkt. Er lässt sich direkt in standardmäßige PyTorch-Trainingsschleifen integrieren, um Multi-GPU-Data-Sharding ohne benutzerdefinierten Code zu handhaben und gleichzeitig automatische Governance zu gewährleisten.
* Beschleunigen Sie Trainingszeiten **um das 10-fache** und senken Sie Rechenkosten mit UCDataset, einem derzeit in der Beta-Phase befindlichen nativen DataLoader, der Daten direkt von Unity Catalog-Tabellen an Ihre GPUs streamt * UCDataset lässt sich direkt in standardmäßige PyTorch-Trainingsschleifen integrieren und verarbeitet Multi-GPU-Data-Sharding automatisch, ohne dass benutzerdefinierter Code erforderlich ist * Durch das direkte Lesen von Trainingsdaten aus dem Unity Catalog stellen Sie sicher, dass Governance automatisch angewendet wird