การจัดวางอุปกรณ์อัตโนมัติด้วย Accelerator
โมเดล AI สำหรับการสนทนาของคุณต้องเทรนบนชุดข้อมูลขนาดใหญ่ คุณจึงตัดสินใจย้ายโมเดลไปยัง GPU โดยใช้ Accelerator สำหรับการจัดวางอุปกรณ์อัตโนมัติ โปรดทราบว่าแบบฝึกหัดนี้รันบน CPU จริง แต่โค้ดจะเหมือนกันทุกประการเมื่อใช้งานบน GPU
โมเดลที่พัฒนาบน BERT ถูกโหลดไว้ล่วงหน้าในตัวแปร model แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch
คำแนะนำการฝึกหัด
- ประกาศออบเจ็กต์
acceleratorโดยอินสแตนซ์คลาสที่เหมาะสม - ใช้ออบเจ็กต์
acceleratorเพื่อเตรียมโมเดลสำหรับการเทรนแบบกระจายบน GPU
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)