Fine-tuning LoRA Llama untuk layanan pelanggan
Anda ditugaskan untuk melakukan fine-tuning model bahasa guna menjawab pertanyaan layanan pelanggan.
Model Llama cukup andal untuk penjawaban pertanyaan dan seharusnya bekerja baik untuk tugas layanan pelanggan ini. Sayangnya, Anda tidak memiliki kapasitas komputasi untuk melakukan fine-tuning biasa, sehingga harus menggunakan teknik fine-tuning LoRA dengan himpunan data bitext.
Anda ingin dapat melatih Maykeye/TinyLLama-v0. Skrip pelatihan hampir selesai, dan kode pelatihan sudah disediakan, kecuali parameter konfigurasi LoRA.
Model, tokenizer, himpunan data, dan argumen pelatihan yang relevan telah dimuat untuk Anda di model, tokenizer, dataset, dan training_arguments.
Latihan ini merupakan bagian dari kursus
Fine-Tuning dengan Llama 3
Instruksi latihan
- Tambahkan argumen untuk menetapkan adapter LoRA Anda ke peringkat 2.
- Tetapkan faktor skala sehingga menjadi dua kali lipat peringkat Anda.
- Tetapkan jenis tugas yang digunakan dengan model bergaya Llama dalam konfigurasi Lora Anda.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
from peft import LoraConfig, get_peft_model
peft_config = LoraConfig(
# Set rank parameter
____=____,
# Set scaling factor
____=____,
# Set the type of task
____=____,
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
max_seq_length=250,
dataset_text_field='conversation',
tokenizer=tokenizer,
args=training_arguments,
peft_config=peft_config,
)
trainer.train()