เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

เตรียมโมเดลสำหรับการเทรนแบบกระจาย

คุณตัดสินใจใช้ไลบรารี Accelerator ของ Hugging Face ในการเทรนโมเดลแปลภาษา ถึงเวลาเตรียมโมเดลให้พร้อมสำหรับการเทรนแบบกระจายแล้ว!

ข้อมูลบางส่วนถูกโหลดไว้แล้ว:

  • accelerator คืออินสแตนซ์ของ Accelerator
  • กำหนด model, optimizer, train_dataloader และ lr_scheduler ไว้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • เรียกใช้เมธอดเพื่อเตรียมออบเจกต์สำหรับการเทรนแบบกระจาย
  • ส่งออบเจกต์สำหรับการเทรนเป็น positional arguments ให้กับ accelerator.prepare() โดยเรียงลำดับให้ตรงกับผลลัพธ์ที่ต้องการ

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
    # Pass in the training objects matching the order of the output
    ____,
    ____,
    ____,
    ____)
แก้ไขและรันโค้ด