AdamW s Acceleratorem
Chceš si přizpůsobit trénovací smyčku pomocí Accelerator a použít AdamW jako referenční optimizer pro svůj model překladu textu. Sestav trénovací smyčku s využitím AdamW.
Některé trénovací objekty jsou předem načteny a definovány: model, train_dataloader a accelerator.
Toto cvičení je součástí kurzu
Efficient AI Model Training with PyTorch
Pokyny k cvičení
- Před spuštěním smyčky připrav trénovací objekty pro distribuované trénování.
- V trénovací smyčce aktualizuj parametry modelu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")