為分散式訓練準備資料集
你已經為一套精準農業系統完成資料集的前處理,以協助農民監控作物健康。現在你要透過建立 DataLoader 來載入資料,並在可用時把資料放到 GPU 上進行分散式訓練。請注意,本練習實際使用的是 CPU,但在 CPU 與 GPU 上的程式碼相同。
已預先載入的部分資料:
- 具有農業影像的範例
dataset - 來自
accelerate函式庫的Accelerator類別 DataLoader類別
本練習屬於課程
使用 PyTorch 高效訓練 AI 模型
練習說明
- 為預先定義的
dataset建立一個dataloader。 - 使用
accelerator物件,將dataloader放到可用的裝置上。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
accelerator = Accelerator()
# Create a dataloader for the pre-defined dataset
dataloader = ____(____, batch_size=32, shuffle=True)
# Place the dataloader on available devices
dataloader = accelerator.____(____)
print(accelerator.device)