เตรียมชุดข้อมูลสำหรับการฝึกแบบกระจาย
หลังจากที่ประมวลผลชุดข้อมูลสำหรับระบบเกษตรกรรมแม่นยำเพื่อช่วยเกษตรกรติดตามสุขภาพพืชผลแล้ว ขั้นตอนต่อไปคือโหลดข้อมูลโดยสร้าง DataLoader จากนั้นวางข้อมูลบน GPU สำหรับการฝึกแบบกระจาย หากมี GPU พร้อมใช้งาน โปรดทราบว่าแบบฝึกหัดนี้ใช้ CPU จริง แต่โค้ดเดียวกันนี้ใช้ได้กับทั้ง CPU และ GPU
ข้อมูลบางส่วนถูกโหลดไว้ล่วงหน้าแล้ว:
datasetตัวอย่างที่มีภาพถ่ายทางการเกษตร- คลาส
Acceleratorจากไลบรารีaccelerate - คลาส
DataLoader
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch
คำแนะนำการฝึกหัด
- สร้าง
dataloaderสำหรับdatasetที่กำหนดไว้แล้ว - วาง
dataloaderบนอุปกรณ์ที่มีอยู่โดยใช้ออบเจกต์accelerator
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
accelerator = Accelerator()
# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)
# Place the dataloader on available devices
dataloader = accelerator.____(____)
print(accelerator.device)