Korzystanie z adapterów LoRA
Pracujesz w startupie tworzącym chatboty do obsługi klienta, które automatycznie odpowiadają na proste pytania użytkowników.
Twoim zadaniem jest dostrojenie modelu językowego Maykeye/TinyLLama-v0 do odpowiadania na pytania z zakresu obsługi klienta przy użyciu zbioru danych bitext. Model ten zostanie wykorzystany w chatbocie dostarczanym przez twój zespół. Skrypt treningowy jest już prawie gotowy, jednak chcesz zintegrować z nim LoRA – jest to bardziej wydajne podejście, które pozwoli skrócić czas działania potoku treningowego podczas wdrożeń.
Model, tokenizer, zbiór danych oraz argumenty treningowe zostały już wczytane do zmiennych model, tokenizer, dataset i training_arguments.
To ćwiczenie jest częścią kursu
Fine-Tuning z Llama 3
Instrukcje do ćwiczenia
- Zaimportuj konfigurację LoRA z odpowiedniej biblioteki.
- Utwórz instancję parametrów konfiguracji LoRA z domyślnymi wartościami i przypisz ją do
lora_config. - Zintegruj parametry LoRA z SFTTrainer.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)