ComeçarComece de graça

Inicio
Cursos
Treinamento Eficiente de Modelos de IA com PyTorch

Treinamento com precisão mista

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

AvançadoNível de habilidade

4.9+

Iniciar curso de graça

Você vai preparar dados para treinamento distribuído dividindo o conjunto entre vários dispositivos e copiando o modelo em cada um deles. O Accelerator oferece uma interface prática para preparação de dados, e você vai aprender a pré-processar imagens, áudio e texto como primeiro passo no treinamento distribuído.

Exercise 1: Prepare modelos com AutoModel e Accelerator Exercise 2: Carregando e inspecionando modelos pré-treinados Exercise 3: Alocação automática de dispositivo com Accelerator Exercise 4: Pré-processar imagens e áudio para o treinamento Exercise 5: Pré-processar conjuntos de dados de imagens Exercise 6: Pré-processar conjuntos de dados de áudio Exercise 7: Prepare conjuntos de dados para treinamento distribuído Exercise 8: Pré-processar texto para treinamento Exercise 9: Pré-processar texto com AutoTokenizer Exercise 10: Salvar e carregar o estado do texto pré-processado

No treinamento distribuído, cada dispositivo treina em seu próprio conjunto de dados em paralelo. Você vai investigar dois métodos para treinamento distribuído: o Accelerator permite laços de treinamento personalizados, e o Trainer simplifica a interface de treinamento.

Exercise 1: Faça o fine-tuning de modelos com o Trainer Exercise 2: Defina métricas de avaliação Exercise 3: Especificar os TrainingArguments Exercise 4: Configurar o Trainer Exercise 5: Treine modelos com o Accelerator Exercise 6: Prepare um modelo para treinamento distribuído Exercise 7: Loops de treino antes e depois do Accelerator Exercise 8: Construindo um loop de treino com Accelerator Exercise 9: Avalie modelos com o Accelerator Exercise 10: Colocando o modelo em modo de avaliação Exercise 11: Registrando métricas de avaliação

O treinamento distribuído exige muitos recursos com modelos e conjuntos de dados grandes, mas você pode enfrentar esses desafios melhorando o uso de memória, a comunicação entre dispositivos e a eficiência computacional. Você vai conhecer as técnicas de acumulação de gradiente, gradient checkpointing, local stochastic gradient descent e treinamento em precisão mista.

Exercise 1: Acúmulo de gradientes Exercise 2: Acumulação de gradientes com Accelerator Exercise 3: Acumulação de gradientes com o Trainer Exercise 4: Gradient checkpointing e SGD local Exercise 5: Gradient checkpointing com Accelerator Exercise 6: Gradient checkpointing com Trainer Exercise 7: Local SGD com Accelerator Exercise 8: Treinamento com precisão mista

Exercício atual

Exercise 9: Treinamento em precisão mista com PyTorch básico Exercise 10: Treinamento com precisão mista com Accelerator Exercise 11: Treinamento com precisão mista usando Trainer

Você vai focar nos otimizadores como alavancas para melhorar a eficiência do treinamento distribuído, destacando os trade-offs entre AdamW, Adafactor e Adam de 8 bits. Reduzir o número de parâmetros ou usar baixa precisão ajuda a diminuir o consumo de memória de um modelo.

Exercise 1: Treinamento equilibrado com AdamW Exercise 2: AdamW com Trainer Exercise 3: AdamW com Accelerator Exercise 4: Calcular o tamanho do otimizador Exercise 5: Treinamento eficiente em memória com Adafactor Exercise 6: Adafactor com Trainer Exercise 7: Adafactor com Accelerator Exercise 8: Treinamento com precisão mista usando Adam de 8 bits Exercise 9: Configurar o otimizador Adam de 8 bits Exercise 10: Adam de 8 bits com Trainer Exercise 11: Adam de 8 bits com Accelerator Exercise 12: Qual é o otimizador?Exercise 13: Parabéns!