Utiliser des adaptateurs LoRA
Vous travaillez dans une start-up qui fournit des chatbots de service client capables de résoudre automatiquement les questions simples des utilisateurs.
Votre mission est d’affiner le modèle de langage Maykeye/TinyLLama-v0 pour répondre à des questions de service client en utilisant le jeu de données bitext. Ce modèle sera intégré à un chatbot fourni par votre équipe. Le script d’entraînement est presque terminé, mais vous souhaitez intégrer LoRA à votre fine-tuning, car c’est plus efficace et cela permettra à la chaîne d’entraînement de votre équipe de se terminer plus rapidement lors des déploiements.
Le modèle, le tokenizer, le jeu de données et les arguments d’entraînement pertinents ont été préchargés pour vous dans model, tokenizer, dataset et training_arguments.
Cet exercice fait partie du cours
Ajustement fin avec Llama 3
Instructions
- Importez la configuration LoRA depuis la bibliothèque associée.
- Instanciez les paramètres de configuration LoRA avec les valeurs par défaut dans
lora_config. - Intégrez les paramètres LoRA dans SFTTrainer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import LoRA configuration class
from ____ import ____
# Instantiate LoRA configuration with values
lora_config = ____(
r=12,
lora_alpha=8,
task_type="CAUSAL_LM",
lora_dropout=0.05,
bias="none",
target_modules=['q_proj', 'v_proj']
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
tokenizer=tokenizer,
args=training_arguments,
# Pass the lora_config to trainer
____,
)