Spécifier les TrainingArguments

Vous configurez le processus d’entraînement de votre modèle de langue. TrainingArguments précise les paramètres d’entrée pour Trainer. Cet exercice fournit des valeurs pour ces paramètres; en général, vous devrez les ajuster selon le modèle. Préparez les arguments pour que votre modèle utilise Trainer!

Certaines données ont été préchargées :

output_dir est un répertoire prédéfini
La classe TrainingArguments a été importée

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Définissez training_args à l’aide de la classe TrainingArguments.
Réglez le learning_rate à 2e-5 pour peaufiner les poids préentraînés de votre modèle.
Réglez la taille du lot d’entraînement par appareil à 16.
Réglez evaluation_strategy pour créer des points de contrôle d’évaluation à chaque epoch.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Modifier et exécuter le code