Mulai sekarangMulai gratis

Siapkan model untuk pelatihan terdistribusi

Anda memutuskan menggunakan pustaka Hugging Face Accelerator untuk melatih model penerjemahan bahasa. Sekarang saatnya menyiapkan model Anda untuk pelatihan terdistribusi!

Beberapa data telah dimuat sebelumnya:

  • accelerator adalah instance dari Accelerator
  • model, optimizer, train_dataloader, dan lr_scheduler telah didefinisikan

Latihan ini merupakan bagian dari kursus

Pelatihan Model AI Efisien dengan PyTorch

Lihat Kursus

Instruksi latihan

  • Panggil sebuah metode untuk menyiapkan objek bagi pelatihan terdistribusi.
  • Teruskan objek-objek pelatihan sebagai argumen posisi ke accelerator.prepare(), sesuai urutan keluaran.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)
Edit dan Jalankan Kode