AdamW dengan Accelerator
Anda ingin menyesuaikan loop pelatihan menggunakan Accelerator dan menggunakan AdamW sebagai optimizer tolok ukur untuk model penerjemahan bahasa Anda. Bangun loop pelatihan agar menggunakan AdamW.
Beberapa objek pelatihan telah dimuat dan didefinisikan sebelumnya, termasuk model, train_dataloader, dan accelerator.
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Siapkan objek pelatihan untuk pelatihan terdistribusi sebelum loop.
- Perbarui parameter model di dalam loop pelatihan.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
optimizer = AdamW(params=model.parameters())
# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model parameters
____.____()
optimizer.zero_grad()
print(f"Loss = {loss}")