Configurer les arguments d’entraînement de Llama
Votre mission consiste à travailler sur le modèle Llama utilisé dans un chatbot de service client, en le fine-tunant sur des données de support spécialement conçues pour la réponse à des questions. Pour obtenir les meilleures performances, votre équipe va fine-tuner un modèle Llama pour cette tâche avec le jeu de données bitext.
Vous souhaitez effectuer un essai du boucle d’entraînement pour vérifier que le script fonctionne. Vous allez donc commencer par définir un petit taux d’apprentissage et limiter l’entraînement à quelques étapes dans vos arguments d’entraînement.
Cet exercice fait partie du cours
Ajustement fin avec Llama 3
Instructions
- Importez et instanciez la classe utilitaire pour stocker vos arguments d’entraînement.
- Définissez l’argument d’entraînement pour le taux d’apprentissage à la valeur
2e-3.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)