Configurer les arguments d'entraînement de Llama
Votre tâche consiste à travailler avec le modèle Llama utilisé dans un agent conversationnel de service à la clientèle en le peaufinant avec des données conçues pour la réponse à des questions. Pour obtenir le meilleur rendement possible, votre équipe peaufinera un modèle Llama pour ce mandat en utilisant l'ensemble de données bitext.
Vous souhaitez faire un essai du cycle d'entraînement pour vérifier si le script fonctionne. Vous allez donc commencer par définir un petit taux d'apprentissage et limiter l'entraînement à quelques étapes dans vos arguments d'entraînement.
Cette activité fait partie du cours
Ajustement fin avec Llama 3
Instructions de l’exercice
- Importez et instanciez la classe utilitaire pour stocker vos arguments d'entraînement.
- Réglez l'argument d'entraînement pour le taux d'apprentissage à la valeur
2e-3.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)