Configurer les paramètres d'entraînement
Après avoir tokenisé vos interactions du service à la clientèle, vous devez configurer vos paramètres d'entraînement avant de pouvoir ajuster finement un modèle préentraîné.
TrainingArguments a été importé pour vous.
Cette activité fait partie du cours
Introduction aux LLM avec Python
Instructions de l’exercice
- Instanciez
TrainingArguments(). - Réglez la stratégie d'évaluation à
"epoch". - Indiquez trois époques d'entraînement.
- Réglez les tailles de lot pour l'entraînement et l'évaluation à trois.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)