Utiliser des adaptateurs LoRA
Vous travaillez dans une jeune pousse qui offre des robots conversationnels de service à la clientèle pour résoudre automatiquement les questions simples des clients.
Votre tâche est d'affiner le modèle de langue Maykeye/TinyLLama-v0 afin de répondre à des questions de service à la clientèle en utilisant le jeu de données bitext. Ce modèle sera intégré à un robot conversationnel fourni par votre équipe. Le script d'entraînement est presque terminé, mais vous souhaitez intégrer LoRA à votre ajustement fin, car c'est plus efficace et permettrait à la chaîne d'entraînement de votre équipe de se terminer plus rapidement lors des déploiements.
Le modèle pertinent, le tokenizer, le jeu de données et les paramètres d'entraînement ont été préchargés pour vous dans model, tokenizer, dataset et training_arguments.
Cette activité fait partie du cours
Ajustement fin avec Llama 3
Instructions de l’exercice
- Importez la configuration LoRA à partir de la bibliothèque associée.
- Instanciez les paramètres de configuration LoRA avec les valeurs par défaut données dans
lora_config. - Intégrez les paramètres LoRA dans SFTTrainer.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)