Du bereitest Daten für verteiltes Training vor, indem du sie über mehrere Geräte verteilst und das Modell auf jedes Gerät kopierst. Accelerator bietet eine praktische Schnittstelle für die Datenvorbereitung, und du lernst, Bilder, Audio und Text als ersten Schritt für verteiltes Training vorzuverarbeiten.

Modelle mit AutoModel und Accelerator vorbereiten

Vortrainierte Modelle laden und inspizieren

Automatische Gerätezuordnung mit Accelerator

Bilder und Audio für das Training vorverarbeiten

Bilddatensätze vorverarbeiten

Audiodatensätze vorverarbeiten

Datensätze für verteiltes Training vorbereiten

Text für das Training vorverarbeiten

Text mit AutoTokenizer vorverarbeiten

Zustand vorverarbeiteter Texte speichern und laden

Datenvorbereitung mit Accelerator

Beim verteilten Training trainiert jedes Gerät parallel auf seinen Daten. Du untersuchst zwei Methoden für verteiltes Training: Accelerator ermöglicht individuelle Trainingsschleifen, und Trainer vereinfacht die Trainingsschnittstelle.

Modelle mit Trainer feinabstimmen

Evaluationsmetriken definieren

Die TrainingArguments festlegen

Den Trainer einrichten

Modelle mit Accelerator trainieren

Ein Modell für verteiltes Training vorbereiten

Trainingsschleifen vor und nach Accelerator

Einen Trainingsloop mit Accelerator bauen

Modelle mit Accelerator evaluieren

Das Modell in den Auswertungsmodus versetzen

Evaluationsmetriken protokollieren

Verteiltes Training mit Accelerator und Trainer

Verteiltes Training beansprucht Ressourcen bei großen Modellen und Datensätzen, aber durch bessere Speichernutzung, Gerätekommunikation und Recheneffizienz kannst du die Herausforderungen meistern. Du lernst die Techniken Gradient Accumulation, Gradient Checkpointing, Local Stochastic Gradient Descent und Mixed-Precision-Training kennen.

Gradientenakkumulation

Gradientenakkumulation mit Accelerator

Gradient Accumulation mit Trainer

Gradient-Checkpointing und lokales SGD

Gradient Checkpointing mit Accelerator

Gradient Checkpointing mit Trainer

Lokales SGD mit Accelerator

Mixed-Precision-Training

Mixed-Precision-Training mit einfachem PyTorch

Mixed-Precision-Training mit Accelerator

Mixed-Precision-Training mit Trainer

Trainingseffizienz verbessern

Du konzentrierst dich auf Optimierer als Hebel zur Verbesserung der Effizienz im verteilten Training und beleuchtest die Trade-offs zwischen AdamW, Adafactor und 8-Bit-Adam. Eine Reduktion der Parameterzahl oder der Einsatz niedriger Präzision hilft, den Speicherbedarf eines Modells zu verringern.

Ausgewogenes Training mit AdamW

AdamW mit Trainer

AdamW mit Accelerator

Berechne die Optimierergröße

Speichereffizientes Training mit Adafactor

Adafactor mit Trainer

Adafactor mit Accelerator

Gemischte Präzision mit 8‑Bit Adam

Richte den 8-Bit-Adam-Optimizer ein

8-Bit Adam mit Trainer

8-Bit Adam mit Accelerator

Optionen

AdamW

Adafactor

8-bit Adam

Welcher Optimierer ist es?

Glückwunsch!

Training mit effizienten Optimierern

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Möchtest du deine Machine-Learning-Modelle in einem Bruchteil der Zeit trainieren? Verteiltes Training ermöglicht es, Modelle über mehrere Geräte hinweg zu trainieren – so kannst du deine KI-Projekte skalieren und Trainingszeiten reduzieren. In diesem Kurs lernst du, wie du die Hugging Face Accelerator-Bibliothek und PyTorch nutzt, um Modelle für verteiltes Training auf deinem Gerät vorzubereiten. Du erkundest Data Sharding, Modellreplikation und Parametersynchronisierung und sammelst praktische Erfahrung, diese Techniken in realen Workflows anzuwenden – egal ob mit Bild-, Text- oder Audiomodellen.

Verteiltes Training ist eine wichtige Fähigkeit beim maschinellen Lernen in großem Maßstab. Es hilft dir, die Zeit zu verkürzen, die zum Trainieren großer Sprachmodelle mit Billionen von Parametern benötigt wird. In diesem Kurs lernst du die Werkzeuge, Techniken und Strategien kennen, die für ein effizientes verteiltes Training mit PyTorch, Accelerator und Trainer notwendig sind. 
<h2>Daten für verteiltes Training vorbereiten</h2>
Du beginnst damit, die Daten für das verteilte Training vorzubereiten, indem du die Datensätze auf mehrere Geräte aufteilst und Modellkopien auf jedem Gerät bereitstellst. Du sammelst praktische Erfahrungen in der Vorverarbeitung von Daten für verteilte Umgebungen, einschließlich Bildern, Audio und Text.
<h2>Erkundung von Effizienztechniken</h2>
Sobald deine Daten fertig sind, erkundest du, wie du die Effizienz der Ausbildung und die Nutzung der Optimierer über verschiedene Schnittstellen hinweg verbessern kannst. Du wirst sehen, wie du diese Herausforderungen meistern kannst, indem du die Speichernutzung, die Gerätekommunikation und die Recheneffizienz mit Techniken wie Gradientenakkumulation, Gradienten-Checkpointing, lokalem stochastischem Gradientenabstieg und Training mit gemischter Genauigkeit verbesserst. Du wirst die Kompromisse zwischen den verschiedenen Optimierern verstehen, die dir helfen, den Speicherbedarf deines Modells zu verringern.

Am Ende dieses Kurses wirst du mit dem Wissen und den Werkzeugen ausgestattet sein, um verteilte KI-gestützte Dienste aufzubauen.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Lernen Sie, wie Sie Trainingszeiten großer Sprachmodelle mit Accelerator und Trainer verkürzen können.

Effizientes KI-Modelltraining mit PyTorch

Lerne, wie du das Training von LLMs mithilfe von Accelerator und Trainer für verteilte Trainingsprozesse beschleunigst.

Gemischte Präzision mit 8‑Bit Adam

Create Your Free Account