Použití LoRA adapterů
Pracuješ ve startupustartupu, který vyvíjí chatboty pro zákaznickou podporu – automaticky řeší jednoduché dotazy, které zákazníci mohou mít.
Dostal/a jsi za úkol doladit jazykový model Maykeye/TinyLLama-v0 tak, aby odpovídal na dotazy zákaznické podpory, a to s využitím datasetu bitext. Model bude nasazen v chatbotu, který váš tým poskytuje. Tréninkový skript je už skoro hotový, ale chceš do fine-tuningu zapojit LoRA – je efektivnější a umožní vašemu týmu dokončit tréninkový pipeline rychleji při každém nasazení.
Příslušný model, tokenizér, dataset a tréninkové argumenty jsou pro tebe předem načteny v proměnných model, tokenizer, dataset a training_arguments.
Toto cvičení je součástí kurzu
Fine-Tuning s Llama 3
Pokyny k cvičení
- Importuj LoRA konfiguraci z příslušné knihovny.
- Vytvoř instanci LoRA konfiguračních parametrů s výchozími hodnotami a ulož ji do
lora_config. - Zapoj LoRA parametry do SFTTraineru.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)