Przygotowanie modelu do treningu rozproszonego
Postanowiłeś(-aś) użyć biblioteki Accelerator od Hugging Face do trenowania modelu tłumaczenia języków. Czas przygotować model do treningu rozproszonego!
Następujące dane zostały wcześniej wczytane:
accelerator– instancja klasyAcceleratormodel,optimizer,train_dataloaderorazlr_scheduler– zostały zdefiniowane
To ćwiczenie jest częścią kursu
Efektywne trenowanie modeli AI z PyTorch
Instrukcje do ćwiczenia
- Wywołaj metodę służącą do przygotowania obiektów do treningu rozproszonego.
- Przekaż obiekty treningowe jako argumenty pozycyjne do
accelerator.prepare(), zachowując kolejność wyników.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)