Pelatihan presisi campuran dengan Accelerator
Anda ingin menyederhanakan loop PyTorch untuk pelatihan presisi campuran pada model penerjemahan bahasa dengan menggunakan Accelerator. Bangun loop pelatihan baru untuk memanfaatkan Accelerator!
Beberapa objek telah dimuat sebelumnya: dataset, model, dataloader, dan optimizer.
Latihan ini merupakan bagian dari kursus
Pelatihan Model AI Efisien dengan PyTorch
Instruksi latihan
- Aktifkan pelatihan presisi campuran menggunakan FP16 di
Accelerator. - Siapkan objek pelatihan untuk presisi campuran sebelum loop.
- Hitung gradien dari loss untuk pelatihan presisi campuran.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()