You'll prepare data for distributed training by splitting the data across multiple devices and copying the model on each device. Accelerator provides a convenient interface for data preparation, and you'll learn how to preprocess images, audio, and text as a first step in distributed training.

Prepare models with AutoModel and Accelerator

Loading and inspecting pre-trained models

Automatic device placement with Accelerator

Preprocess images and audio for training

Preprocess image datasets

Preprocess audio datasets

Prepare datasets for distributed training

Preprocess text for training

Preprocess text with AutoTokenizer

Save and load the state of preprocessed text

Data Preparation with Accelerator

In distributed training, each device trains on its data in parallel. You'll investigate two methods for distributed training: Accelerator enables custom training loops, and Trainer simplifies the interface for training.

Fine-tune models with Trainer

Define evaluation metrics

Specify the TrainingArguments

Set up the Trainer

Train models with Accelerator

Prepare a model for distributed training

Training loops before and after Accelerator

Building a training loop with Accelerator

Evaluate models with Accelerator

Setting the model in evaluation mode

Logging evaluation metrics

Distributed Training with Accelerator and Trainer

Distributed training strains resources with large models and datasets, but you can address these challenges by improving memory usage, device communication, and computational efficiency. You'll discover the techniques of gradient accumulation, gradient checkpointing, local stochastic gradient descent, and mixed precision training.

Gradient accumulation

Gradient accumulation with Accelerator

Gradient accumulation with Trainer

Gradient checkpointing and local SGD

Gradient checkpointing with Accelerator

Gradient checkpointing with Trainer

Local SGD with Accelerator

Mixed precision training

Mixed precision training with basic PyTorch

Mixed precision training with Accelerator

Mixed precision training with Trainer

Improving Training Efficiency

You'll focus on optimizers as levers to improve distributed training efficiency, highlighting tradeoffs between AdamW, Adafactor, and 8-bit Adam. Reducing the number of parameters or using low precision helps to decrease a model's memory footprint.

Addestramento bilanciato con AdamW

AdamW con Trainer

AdamW con Accelerator

Calcola la dimensione dell'optimizer

Addestramento efficiente in memoria con Adafactor

Adafactor con Trainer

Adafactor con Accelerator

Addestramento a precisione mista con Adam a 8 bit

Configura l'ottimizzatore Adam a 8 bit

Adam a 8 bit con Trainer

Adam a 8 bit con Accelerator

Opzioni

AdamW

Adafactor

8-bit Adam

Quale ottimizzatore è?

Complimenti!

Training with Efficient Optimizers

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Vuoi addestrare i tuoi modelli di Machine Learning in una frazione del tempo? Il training distribuito ti permette di addestrare i modelli su più dispositivi, rendendo possibile scalare i tuoi progetti di AI e ridurre i tempi di addestramento. In questo corso imparerai a usare la libreria Accelerator di Hugging Face e PyTorch per preparare i modelli al training distribuito sul tuo dispositivo. Esplorerai data sharding, replica del modello e sincronizzazione dei parametri, facendo pratica su workflow reali, che tu stia lavorando su modelli di immagini, testo o audio.

L'addestramento distribuito è una competenza essenziale nel Machine Learning su larga scala, aiutandoti a ridurre il tempo necessario per addestrare modelli linguistici di grandi dimensioni con trilioni di parametri. In questo corso, tu esplorerai gli strumenti, le tecniche e le strategie essenziali per un training distribuito efficiente usando PyTorch, Accelerator e Trainer. 
<h2>Preparazione dei dati per l'addestramento distribuito</h2>
Inizierai preparando i dati per l'addestramento distribuito, suddividendo i dataset su più dispositivi e distribuendo copie del modello su ciascun dispositivo. Acquisirai esperienza pratica nella pre-elaborazione dei dati per ambienti distribuiti, inclusi immagini, audio e testo.
<h2>Esplorare le tecniche di efficienza</h2>
Una volta che i tuoi dati sono pronti, esplorerai modi per migliorare l'efficienza nell'addestramento e nell'uso degli optimizer su più interfacce. Vedrai come affrontare queste sfide migliorando l’uso della memoria, la comunicazione tra dispositivi e l’efficienza computazionale con tecniche come gradient accumulation, gradient checkpointing, local stochastic gradient descent e mixed precision training. Capirai i compromessi tra diversi ottimizzatori per aiutarti a ridurre l’ingombro di memoria del tuo modello.

Alla fine di questo corso, avrai le conoscenze e gli strumenti per creare servizi distribuiti basati sull'IA.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Scopri come ridurre i tempi di addestramento per modelli linguistici con Accelerator e Trainer.

Efficient AI Model Training with PyTorch

Riduci i tempi di training dei large language models con Accelerator e Trainer per il distributed training

Addestramento bilanciato con AdamW

Create Your Free Account