AdamW z Acceleratorem
Chcesz dostosować pętlę treningową za pomocą Accelerator i użyć AdamW jako optymalizatora bazowego dla modelu tłumaczenia języka. Zbuduj pętlę treningową wykorzystującą AdamW.
Niektóre obiekty treningowe zostały już wczytane i zdefiniowane: model, train_dataloader oraz accelerator.
To ćwiczenie jest częścią kursu
Efektywne trenowanie modeli AI z PyTorch
Instrukcje do ćwiczenia
- Przygotuj obiekty treningowe do treningu rozproszonego przed pętlą.
- Zaktualizuj parametry modelu wewnątrz pętli treningowej.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")