การแบ่งข้อมูลด้วย LightningDataModule
ให้เติมเมธอด setup ใน LightningDataModule ให้สมบูรณ์ การแบ่งชุดข้อมูลอย่างเหมาะสมช่วยให้โมเดลฝึกบนชุดข้อมูลหนึ่ง และประเมินผลบนอีกชุดหนึ่ง ซึ่งช่วยป้องกันปัญหา overfitting
dataset ได้รับการนำเข้าไว้ล่วงหน้าแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
AI Models แบบ Scalable ด้วย PyTorch Lightning
คำแนะนำการฝึกหัด
- Import
random_splitเพื่อแบ่งชุดข้อมูลออกเป็นชุดฝึกและชุด validation - แบ่งชุดข้อมูลเป็นชุดฝึก (80%) และชุด validation (20%) โดยใช้
random_split
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import libraries
import lightning.pytorch as pl
from torch.utils.data import ____
class SplitDataModule(pl.LightningDataModule):
def __init__(self):
super().__init__()
self.train_data = None
self.val_data = None
def setup(self, stage=None):
# Split the dataset into training (80%) and validation (20%)
self.____, self.____ = random_split(dataset, [____, ____])