กำหนด TrainingArguments
คุณกำลังกำหนดค่ากระบวนการเทรนสำหรับโมเดลภาษา TrainingArguments ใช้ระบุพารามิเตอร์อินพุตให้กับ Trainer แบบฝึกหัดนี้จะให้ค่าพารามิเตอร์ต่าง ๆ มาให้แล้ว แต่ในการใช้งานจริงจะต้องปรับจูนพารามิเตอร์เองสำหรับแต่ละโมเดล มาเตรียมอาร์กิวเมนต์เพื่อใช้งาน Trainer กับโมเดลของคุณกัน!
ข้อมูลบางส่วนถูกโหลดไว้ล่วงหน้าแล้ว:
output_dirคือไดเรกทอรีที่กำหนดไว้แล้ว- คลาส
TrainingArgumentsถูก import ไว้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch
คำแนะนำการฝึกหัด
- กำหนด
training_argsโดยใช้คลาสTrainingArguments - ตั้งค่า
learning_rateเป็น2e-5เพื่อ fine-tune น้ำหนักที่เทรนมาแล้วของโมเดล - ตั้งค่าขนาด batch สำหรับการเทรนบนแต่ละอุปกรณ์เป็น
16 - ตั้งค่า
evaluation_strategyให้สร้าง evaluation checkpoint ทุก epoch
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Define training_args using a transformers class
training_args = TrainingArguments(
output_dir=output_dir,
# Set the learning rate to 2e-5
learning_rate=____,
# Set train batch size on each device to 16
per_device_train_batch_size=____,
per_device_eval_batch_size=16,
num_train_epochs=2,
weight_decay=0.01,
save_strategy="epoch",
# Set evaluation checkpoints every epoch
evaluation_strategy=____,
)