You'll prepare data for distributed training by splitting the data across multiple devices and copying the model on each device. Accelerator provides a convenient interface for data preparation, and you'll learn how to preprocess images, audio, and text as a first step in distributed training.

Prepare models with AutoModel and Accelerator

Loading and inspecting pre-trained models

Automatic device placement with Accelerator

Preprocess images and audio for training

Preprocess image datasets

Preprocess audio datasets

Prepare datasets for distributed training

Preprocess text for training

Preprocess text with AutoTokenizer

Save and load the state of preprocessed text

Data Preparation with Accelerator

In distributed training, each device trains on its data in parallel. You'll investigate two methods for distributed training: Accelerator enables custom training loops, and Trainer simplifies the interface for training.

Fine-tune models with Trainer

Define evaluation metrics

Specify the TrainingArguments

Set up the Trainer

Train models with Accelerator

Prepare a model for distributed training

Training loops before and after Accelerator

Building a training loop with Accelerator

Evaluate models with Accelerator

Setting the model in evaluation mode

Logging evaluation metrics

Distributed Training with Accelerator and Trainer

Distributed training strains resources with large models and datasets, but you can address these challenges by improving memory usage, device communication, and computational efficiency. You'll discover the techniques of gradient accumulation, gradient checkpointing, local stochastic gradient descent, and mixed precision training.

Gradient accumulation

Gradient accumulation with Accelerator

Gradient accumulation with Trainer

Gradient checkpointing and local SGD

Gradient checkpointing with Accelerator

Gradient checkpointing with Trainer

Local SGD with Accelerator

Mixed precision training

Mixed precision training with basic PyTorch

Mixed precision training with Accelerator

Mixed precision training with Trainer

Improving Training Efficiency

You'll focus on optimizers as levers to improve distributed training efficiency, highlighting tradeoffs between AdamW, Adafactor, and 8-bit Adam. Reducing the number of parameters or using low precision helps to decrease a model's memory footprint.

Entrenamiento equilibrado con AdamW

AdamW con Trainer

AdamW con Accelerator

Calcula el tamaño del optimizador

Entrenamiento eficiente en memoria con Adafactor

Adafactor con Trainer

Adafactor con Accelerator

Entrenamiento de precisión mixta con Adam de 8 bits

Configura el optimizador Adam de 8 bits

Adam en 8 bits con Trainer

Adam de 8 bits con Accelerator

Opciones

AdamW

Adafactor

8-bit Adam

¿Qué optimizador es?

¡Enhorabuena!

Training with Efficient Optimizers

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

¿Quieres que tus modelos de Machine Learning se entrenen en una fracción del tiempo? El entrenamiento distribuido te permite entrenar modelos en varios dispositivos, lo que hace posible escalar tus proyectos de IA y reducir los tiempos de entrenamiento. En este curso, aprenderás a usar la biblioteca Accelerator de Hugging Face y PyTorch para preparar modelos para entrenamiento distribuido en tu dispositivo. Explorarás partición de datos, replicación de modelos y sincronización de parámetros, mientras ganas experiencia práctica aplicando estas técnicas a flujos de trabajo reales, ya sea con modelos de imagen, texto o audio.

El entrenamiento distribuido es una habilidad esencial en el machine learning a gran escala, que te ayuda a reducir el tiempo necesario para entrenar grandes modelos lingüísticos con billones de parámetros. En este curso, explorarás las herramientas, técnicas y estrategias esenciales para una formación distribuida eficiente utilizando PyTorch, Accelerator y Trainer. 
<h2>Preparar los datos para el entrenamiento distribuido</h2>
Empezarás preparando los datos para el entrenamiento distribuido, dividiendo los conjuntos de datos en varios dispositivos y desplegando copias del modelo en cada dispositivo. Adquirirás experiencia práctica en el preprocesamiento de datos para entornos distribuidos, incluyendo imágenes, audio y texto.
<h2>Explorar técnicas de eficiencia</h2>
Una vez que tus datos estén listos, explorarás formas de mejorar la eficacia en el entrenamiento y el uso del optimizador a través de múltiples interfaces. Verás cómo abordar estos retos mejorando el uso de la memoria, la comunicación entre dispositivos y la eficiencia computacional con técnicas como la acumulación de gradiente, la comprobación de gradiente, el descenso de gradiente estocástico local y el entrenamiento de precisión mixta. Comprenderás las ventajas y desventajas de los distintos optimizadores para ayudarte a reducir la huella de memoria de tu modelo.

Al final de este curso, estarás equipado con los conocimientos y las herramientas para construir servicios distribuidos impulsados por IA.

Intermediate Deep Learning with PyTorch

Working with Hugging Face

Aprende a reducir tiempos de entrenamiento de modelos grandes con Accelerator y Trainer para entrenamiento distribuido.

Entrenamiento eficiente de modelos de IA con PyTorch

Aprende a reducir los tiempos de entrenamiento de grandes modelos lingüísticos con el Acelerador y el Entrenador para el entrenamiento distribuido

Calcula la media móvil exponencial de los gradientes y de los gradientes al cuadrado en alta precisión

Optimizador predeterminado común para entrenar modelos

Almacena solo la media móvil exponencial de los gradientes al cuadrado

Reduce la cantidad de parámetros que almacenar durante la optimización, pero sigue usando alta precisión

Calcula la media móvil exponencial de los gradientes y de los gradientes al cuadrado en baja precisión

Almacena dos bytes por parámetro, aproximadamente un cuarto del tamaño de AdamW

¿Qué optimizador es?

Entrenamiento eficiente de modelos de IA con PyTorch

ejercicio interactivo práctico