เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

กำหนด TrainingArguments

คุณกำลังกำหนดค่ากระบวนการเทรนสำหรับโมเดลภาษา TrainingArguments ใช้ระบุพารามิเตอร์อินพุตให้กับ Trainer แบบฝึกหัดนี้จะให้ค่าพารามิเตอร์ต่าง ๆ มาให้แล้ว แต่ในการใช้งานจริงจะต้องปรับจูนพารามิเตอร์เองสำหรับแต่ละโมเดล มาเตรียมอาร์กิวเมนต์เพื่อใช้งาน Trainer กับโมเดลของคุณกัน!

ข้อมูลบางส่วนถูกโหลดไว้ล่วงหน้าแล้ว:

  • output_dir คือไดเรกทอรีที่กำหนดไว้แล้ว
  • คลาส TrainingArguments ถูก import ไว้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การเทรน AI Model อย่างมีประสิทธิภาพด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนด training_args โดยใช้คลาส TrainingArguments
  • ตั้งค่า learning_rate เป็น 2e-5 เพื่อ fine-tune น้ำหนักที่เทรนมาแล้วของโมเดล
  • ตั้งค่าขนาด batch สำหรับการเทรนบนแต่ละอุปกรณ์เป็น 16
  • ตั้งค่า evaluation_strategy ให้สร้าง evaluation checkpoint ทุก epoch

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)
แก้ไขและรันโค้ด