Prepare um modelo para treinamento distribuído

Você decidiu usar a biblioteca Accelerator da Hugging Face para treinar seu modelo de tradução de linguagem. Agora é hora de preparar seu modelo para o treinamento distribuído!

Alguns dados já foram carregados:

accelerator é uma instância de Accelerator
model, optimizer, train_dataloader e lr_scheduler já foram definidos

Este exercicio faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercicio

Chame um método para preparar os objetos para o treinamento distribuído.
Passe os objetos de treinamento como argumentos posicionais para accelerator.prepare(), seguindo a mesma ordem da saída.

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)

Editar e Executar Código