Fine-tuning LoRA Llama untuk layanan pelanggan
Anda ditugaskan untuk melakukan fine-tuning model bahasa guna menjawab pertanyaan layanan pelanggan.
Model Llama cukup andal untuk penjawaban pertanyaan dan seharusnya bekerja baik untuk tugas layanan pelanggan ini. Sayangnya, Anda tidak memiliki kapasitas komputasi untuk melakukan fine-tuning biasa, sehingga harus menggunakan teknik fine-tuning LoRA dengan himpunan data bitext.
Anda ingin dapat melatih Maykeye/TinyLLama-v0. Skrip pelatihan hampir selesai, dan kode pelatihan sudah disediakan, kecuali parameter konfigurasi LoRA.
Model, tokenizer, himpunan data, dan argumen pelatihan yang relevan telah dimuat untuk Anda di model, tokenizer, dataset, dan training_arguments.
Latihan ini adalah bagian dari kursus
Fine-Tuning dengan Llama 3
Petunjuk latihan
- Tambahkan argumen untuk menetapkan adapter LoRA Anda ke peringkat 2.
- Tetapkan faktor skala sehingga menjadi dua kali lipat peringkat Anda.
- Tetapkan jenis tugas yang digunakan dengan model bergaya Llama dalam konfigurasi Lora Anda.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
from peft import LoraConfig, get_peft_model
peft_config = LoraConfig(
# Set rank parameter
____=____,
# Set scaling factor
____=____,
# Set the type of task
____=____,
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
max_seq_length=250,
dataset_text_field='conversation',
tokenizer=tokenizer,
args=training_arguments,
peft_config=peft_config,
)
trainer.train()