You'll prepare data for distributed training by splitting the data across multiple devices and copying the model on each device. Accelerator provides a convenient interface for data preparation, and you'll learn how to preprocess images, audio, and text as a first step in distributed training.

Prepare models with AutoModel and Accelerator

Loading and inspecting pre-trained models

Automatic device placement with Accelerator

Preprocess images and audio for training

Preprocess image datasets

Preprocess audio datasets

Prepare datasets for distributed training

Preprocess text for training

Preprocess text with AutoTokenizer

Save and load the state of preprocessed text

Data Preparation with Accelerator

In distributed training, each device trains on its data in parallel. You'll investigate two methods for distributed training: Accelerator enables custom training loops, and Trainer simplifies the interface for training.

Fine-tune models with Trainer

Define evaluation metrics

Specify the TrainingArguments

Set up the Trainer

Train models with Accelerator

Prepare a model for distributed training

Training loops before and after Accelerator

Building a training loop with Accelerator

Evaluate models with Accelerator

Setting the model in evaluation mode

Logging evaluation metrics

Distributed Training with Accelerator and Trainer

Distributed training strains resources with large models and datasets, but you can address these challenges by improving memory usage, device communication, and computational efficiency. You'll discover the techniques of gradient accumulation, gradient checkpointing, local stochastic gradient descent, and mixed precision training.

Gradient accumulation

Gradient accumulation with Accelerator

Gradient accumulation with Trainer

Gradient checkpointing and local SGD

Gradient checkpointing with Accelerator

Gradient checkpointing with Trainer

Local SGD with Accelerator

Mixed precision training

Mixed precision training with basic PyTorch

Mixed precision training with Accelerator

Mixed precision training with Trainer

Improving Training Efficiency

You'll focus on optimizers as levers to improve distributed training efficiency, highlighting tradeoffs between AdamW, Adafactor, and 8-bit Adam. Reducing the number of parameters or using low precision helps to decrease a model's memory footprint.

Treinamento equilibrado com AdamW

AdamW com Trainer

AdamW com Accelerator

Calcular o tamanho do otimizador

Treinamento eficiente em memória com Adafactor

Adafactor com Trainer

Adafactor com Accelerator

Treinamento com precisão mista usando Adam de 8 bits

Configurar o otimizador Adam de 8 bits

Adam de 8 bits com Trainer

Adam de 8 bits com Accelerator

Opções

AdamW

Adafactor

8-bit Adam

Qual é o otimizador?

Parabéns!

Training with Efficient Optimizers

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

Quer treinar seus modelos de machine learning em uma fração do tempo? O treinamento distribuído permite treinar modelos em vários dispositivos, possibilitando escalar seus projetos de IA e reduzir o tempo de treinamento. Neste curso, você vai aprender a usar a biblioteca Accelerator da Hugging Face e o PyTorch para preparar modelos para treinamento distribuído no seu dispositivo. Você vai explorar divisão de dados (data sharding), replicação de modelos e sincronização de parâmetros, e ganhar experiência prática aplicando essas técnicas em fluxos de trabalho do mundo real, seja com modelos de imagem, texto ou áudio.

O treinamento distribuído é uma habilidade essencial no machine learning em grande escala, ajudando você a reduzir o tempo necessário para treinar grandes modelos de linguagem com trilhões de parâmetros. Neste curso, você explorará as ferramentas, técnicas e estratégias essenciais para um treinamento distribuído eficiente usando o PyTorch, o Accelerator e o Trainer. 
<h2>Preparação de dados para treinamento distribuído</h2>
Você começará preparando os dados para o treinamento distribuído, dividindo os conjuntos de dados em vários dispositivos e implantando cópias do modelo em cada dispositivo. Você ganhará experiência prática no pré-processamento de dados para ambientes distribuídos, incluindo imagens, áudio e texto.
<h2>Explorando técnicas de eficiência</h2>
Quando os dados estiverem prontos, você explorará maneiras de aumentar a eficiência do treinamento e do uso do otimizador em várias interfaces. Você verá como enfrentar esses desafios melhorando o uso da memória, a comunicação do dispositivo e a eficiência computacional com técnicas como acumulação de gradiente, checkpointing de gradiente, descida de gradiente estocástica local e treinamento de precisão mista. Você entenderá as compensações entre diferentes otimizadores para ajudá-lo a diminuir o espaço de memória do seu modelo.

Ao final deste curso, você estará equipado com o conhecimento e as ferramentas para criar serviços distribuídos com tecnologia de IA.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Aprenda a reduzir o tempo de treinamento de modelos grandes com Accelerator e Trainer para treino distribuído.

Treinamento Eficiente de Modelos de IA com PyTorch

Saiba como reduzir o tempo de treinamento de grandes modelos de linguagem com o Accelerator e o Trainer para treinamento distribuído

Parabéns!

Create Your Free Account