Prepare um modelo para treinamento distribuído
Você decidiu usar a biblioteca Accelerator da Hugging Face para treinar seu modelo de tradução de idiomas. Agora é hora de preparar seu modelo para o treinamento distribuído!
Alguns dados já foram carregados:
acceleratoré uma instância deAcceleratormodel,optimizer,train_dataloaderelr_schedulerjá foram definidos
Este exercício faz parte do curso
Treinamento Eficiente de Modelos de IA com PyTorch
Instruções do exercício
- Chame um método para preparar os objetos para treinamento distribuído.
- Passe os objetos de treinamento para o método, seguindo a mesma ordem da saída.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)