Sử dụng adapter LoRA
Bạn đang làm việc tại một startup cung cấp chatbot chăm sóc khách hàng để tự động giải quyết các câu hỏi đơn giản của khách.
Bạn được giao nhiệm vụ fine-tune mô hình ngôn ngữ Maykeye/TinyLLama-v0 để trả lời câu hỏi dịch vụ khách hàng bằng cách sử dụng bộ dữ liệu bitext. Mô hình này sẽ được dùng trong chatbot do nhóm của bạn cung cấp. Script huấn luyện hầu như đã hoàn tất, nhưng bạn muốn tích hợp LoRA vào quá trình fine-tune vì cách này hiệu quả hơn và giúp pipeline huấn luyện của nhóm hoàn thành nhanh hơn khi triển khai.
Mô hình, tokenizer, bộ dữ liệu và tham số huấn luyện liên quan đã được nạp sẵn vào model, tokenizer, dataset và training_arguments.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Import cấu hình LoRA từ thư viện tương ứng.
- Khởi tạo các tham số cấu hình LoRA với giá trị mặc định, gán vào
lora_config. - Tích hợp các tham số LoRA vào SFTTrainer.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)