Menggunakan adapter LoRA
Anda bekerja di sebuah startup yang menyediakan chatbot layanan pelanggan untuk secara otomatis menyelesaikan pertanyaan sederhana dari pelanggan.
Anda ditugaskan melakukan fine-tuning model bahasa Maykeye/TinyLLama-v0 untuk menjawab pertanyaan layanan pelanggan menggunakan himpunan data bitext. Model ini akan digunakan dalam chatbot yang disediakan tim Anda. Skrip pelatihannya hampir selesai, tetapi Anda ingin mengintegrasikan LoRA ke dalam proses fine-tuning karena lebih efisien dan memungkinkan pipeline pelatihan tim Anda selesai lebih cepat saat deployment.
Model, tokenizer, himpunan data, dan argumen pelatihan yang relevan telah dimuat sebelumnya untuk Anda di model, tokenizer, dataset, dan training_arguments.
Latihan ini adalah bagian dari kursus
Fine-Tuning dengan Llama 3
Petunjuk latihan
- Impor konfigurasi LoRA dari pustaka terkait.
- Inisialisasi parameter konfigurasi LoRA dengan nilai baku yang diberikan ke
lora_config. - Integrasikan parameter LoRA ke dalam SFTTrainer.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)