เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ตั้งค่าอาร์กิวเมนต์สำหรับการเทรน Llama

คุณได้รับมอบหมายให้ปรับปรุงโมเดล Llama ที่ใช้ในแชทบอตสำหรับฝ่ายบริการลูกค้า โดยทำการ fine-tune บนชุดข้อมูลบริการลูกค้าที่สร้างขึ้นเพื่อการตอบคำถามโดยเฉพาะ ทีมของคุณจะใช้ชุดข้อมูล bitext ในการ fine-tune โมเดล Llama เพื่อให้ได้ประสิทธิภาพสูงสุดในงานนี้

ก่อนอื่น คุณต้องการทดสอบ training loop เพื่อตรวจสอบว่าสคริปต์การเทรนทำงานได้ถูกต้อง จึงเริ่มด้วยการกำหนด learning rate ขนาดเล็กและจำกัดจำนวน step การเทรนให้น้อยลงใน training arguments

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Fine-Tuning กับ Llama 3

ดูคอร์ส

คำแนะนำการฝึกหัด

  • นำเข้าและสร้าง instance ของคลาส helper สำหรับเก็บ training arguments
  • กำหนดค่า learning rate ใน training arguments เป็น 2e-3

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Load helper class for the training arguments from the correct library
from ____ import ____ 
training_arguments = ____(
  	# Set learning rate
    ____=____, 
    warmup_ratio=0.03,
  	num_train_epochs=3,
  	output_dir='/tmp',
    per_device_train_batch_size=1,
    gradient_accumulation_steps=1,
    save_steps=10,
    logging_steps=2,
    lr_scheduler_type='constant',
    report_to='none'
)
แก้ไขและรันโค้ด