Prepara un modello per il training distribuito
Hai deciso di usare la libreria Accelerator di Hugging Face per addestrare il tuo modello di traduzione automatica. Ora è il momento di preparare il modello per il training distribuito!
Alcuni dati sono già stati caricati:
acceleratorè un'istanza diAcceleratormodel,optimizer,train_dataloaderelr_schedulersono stati definiti
Questo esercizio fa parte del corso
Efficient AI Model Training with PyTorch
Istruzioni dell'esercizio
- Chiama un metodo per preparare gli oggetti al training distribuito.
- Passa gli oggetti di training come argomenti posizionali a
accelerator.prepare(), rispettando l'ordine dell'output.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)