Mulai sekarangMulai gratis

Loop pelatihan sebelum dan sesudah Accelerator

Anda ingin memodifikasi loop pelatihan PyTorch agar menggunakan Accelerator untuk model bahasa Anda guna menyederhanakan penerjemahan menggunakan himpunan data MPRC berisi parafrasa kalimat. Perbarui loop pelatihan untuk menyiapkan model Anda bagi pelatihan terdistribusi.

Beberapa data telah dimuat sebelumnya:

  • accelerator adalah instance dari Accelerator
  • train_dataloader, optimizer, model, dan lr_scheduler telah didefinisikan dan disiapkan dengan Accelerator

Latihan ini merupakan bagian dari kursus

Pelatihan Model AI Efisien dengan PyTorch

Lihat Kursus

Instruksi latihan

  • Perbarui baris .to(device) agar Accelerator menangani penempatan perangkat.
  • Modifikasi perhitungan gradien agar menggunakan Accelerator.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

for batch in train_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch["input_ids"], batch["labels"]
    # Update the lines so Accelerator handles device placement
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Modify the gradient computation to use Accelerator
    ____.backward(____)
    optimizer.step()
    lr_scheduler.step()
Edit dan Jalankan Kode