Spécifiez les arguments de formation

Vous configurez le processus de formation pour votre modèle linguistique. TrainingArguments spécifie les paramètres d'entrée pour Trainer. Cet exercice fournit des valeurs pour ces paramètres ; en général, vous devrez ajuster les paramètres pour un modèle. Préparez les arguments de votre modèle pour utiliser Trainer!

Certaines données ont été préchargées :

output_dir est un répertoire prédéfini
La classe TrainingArguments a été importée

Cet exercice fait partie du cours

Entraînement efficace de modèles d'IA avec PyTorch

Afficher le cours

Instructions

Définissez training_args à l'aide de la classe TrainingArguments.
Réglez l'adresse learning_rate sur 2e-5 pour affiner les poids pré-entraînés de votre modèle.
Réglez la taille du lot d'entraînement par appareil sur chaque appareil à 16.
Définissez les points de contrôle de l'évaluation pour chaque "epoch".

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Modifier et exécuter le code