Mise en place d'un argumentaire de formation
Après avoir tokenisé vos interactions avec le support client, vous devez configurer vos arguments d'entraînement avant de pouvoir affiner un modèle pré-entraîné.
TrainingArguments a été chargé pour vous.
Cet exercice fait partie du cours
Introduction aux LLM en Python
Instructions
- Créez une instance de
TrainingArguments(). - Définissez la stratégie d'évaluation comme suit :
"epoch". - Spécifiez trois époques d'apprentissage.
- Fixez à trois la taille des lots pour la formation et l'évaluation.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)