การใช้งาน LoRA adapters
คุณทำงานอยู่ที่สตาร์ทอัพที่พัฒนาแชทบอตสำหรับบริการลูกค้า โดยระบบจะตอบคำถามง่าย ๆ ของลูกค้าโดยอัตโนมัติ
ได้รับมอบหมายให้ fine-tune โมเดลภาษา Maykeye/TinyLLama-v0 เพื่อให้ตอบคำถามด้านบริการลูกค้าโดยใช้ชุดข้อมูล bitext โมเดลนี้จะถูกนำไปใช้งานในแชทบอตของทีม สคริปต์สำหรับการฝึกเกือบสมบูรณ์แล้ว แต่ต้องการนำ LoRA มาผสานเข้ากับกระบวนการ fine-tuning เนื่องจากมีประสิทธิภาพสูงกว่าและช่วยให้ไปป์ไลน์การฝึกของทีมทำงานได้เร็วขึ้นในระหว่างการ deploy
โมเดล, tokenizer, ชุดข้อมูล และอาร์กิวเมนต์สำหรับการฝึกถูกโหลดไว้ให้แล้วในตัวแปร model, tokenizer, dataset และ training_arguments
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Fine-Tuning กับ Llama 3
คำแนะนำการฝึกหัด
- Import การตั้งค่า LoRA จากไลบรารีที่เกี่ยวข้อง
- สร้าง instance ของพารามิเตอร์การตั้งค่า LoRA โดยใช้ค่าเริ่มต้นที่กำหนดให้กับ
lora_config - นำพารามิเตอร์ LoRA ไปใช้งานใน SFTTrainer
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)