Fine-tuning LoRA cho Llama phục vụ chăm sóc khách hàng
Bạn được giao nhiệm vụ fine-tuning một mô hình ngôn ngữ để trả lời câu hỏi của khách hàng.
Các mô hình Llama khá tốt trong bài toán hỏi đáp và sẽ phù hợp với tác vụ chăm sóc khách hàng này. Tuy nhiên, bạn không có đủ tài nguyên tính toán để thực hiện fine-tuning thông thường, nên cần dùng kỹ thuật fine-tuning LoRA với bộ dữ liệu bitext.
Bạn muốn có thể huấn luyện Maykeye/TinyLLama-v0. Script huấn luyện hầu như đã hoàn chỉnh, và bạn đã có sẵn mã huấn luyện, ngoại trừ các tham số cấu hình LoRA.
Mô hình, tokenizer, tập dữ liệu và tham số huấn luyện liên quan đã được nạp sẵn cho bạn trong model, tokenizer, dataset, và training_arguments.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Thêm đối số để đặt LoRA adapters của bạn có rank bằng 2.
- Đặt hệ số khuếch đại sao cho gấp đôi rank của bạn.
- Thiết lập loại tác vụ dùng cho các mô hình kiểu Llama trong cấu hình Lora của bạn.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from peft import LoraConfig, get_peft_model
peft_config = LoraConfig(
# Set rank parameter
____=____,
# Set scaling factor
____=____,
# Set the type of task
____=____,
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
max_seq_length=250,
dataset_text_field='conversation',
tokenizer=tokenizer,
args=training_arguments,
peft_config=peft_config,
)
trainer.train()