การกำหนด custom recipe
คุณกำลัง fine-tune โมเดล Llama ที่ผ่านการเทรนมาแล้วให้กับลูกค้าที่ต้องการการตั้งค่าเฉพาะ แผนคือใช้ TorchTune สำหรับการ fine-tune จึงต้องเตรียม Python dictionary เพื่อเก็บข้อกำหนดสำหรับ custom recipe ที่จะใช้รันงาน fine-tuning
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Fine-Tuning กับ Llama 3
คำแนะนำการฝึกหัด
- ระบุข้อกำหนดของลูกค้าในดิกชันนารี โดยเริ่มจากเพิ่มโมเดล
torchtune.models.llama3_2.llama3_2_1b - เพิ่ม batch size เป็น 8 และกำหนด อุปกรณ์เป็น GPU
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}