ตั้งค่า training arguments

หลังจาก tokenize ข้อมูลการสนทนาของฝ่ายสนับสนุนลูกค้าแล้ว ต้องตั้งค่า training arguments ก่อนจึงจะสามารถ fine-tune โมเดลที่ผ่านการเทรนมาแล้วได้

โหลด TrainingArguments ไว้ให้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Python เบื้องต้นสำหรับ LLMs

ดูคอร์ส

คำแนะนำการฝึกหัด

สร้าง instance ของ TrainingArguments()
กำหนดกลยุทธ์การประเมินผลเป็น "epoch"
ระบุจำนวน epoch ในการฝึกเป็น 3
กำหนดขนาด batch สำหรับการฝึกและการประเมินผลเป็น 3

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Set up an instance of TrainingArguments
training_args = ____(
  output_dir="./finetuned",
  # Set the evaluation strategy
  ____,
  # Specify the number of epochs
  ____=3,
  learning_rate=2e-5,
  # Set the batch sizes
  ____=3,
  ____=3,
  weight_decay=0.01
)

แก้ไขและรันโค้ด