Geef de TrainingArguments op

Je configureert het trainingsproces voor je taalmodel. TrainingArguments specificeert invoerparameters voor Trainer. Deze oefening geeft waarden voor deze parameters; doorgaans moet je de parameters voor een model fine-tunen. Bereid de argumenten voor zodat je model Trainer kan gebruiken!

Er is al wat data vooraf geladen:

output_dir is een vooraf gedefinieerde map
De klasse TrainingArguments is geïmporteerd

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Cursus bekijken

Oefeninstructies

Definieer training_args met de klasse TrainingArguments.
Stel learning_rate in op 2e-5 om de voorgetrainde gewichten van je model te fine-tunen.
Stel de train-batchgrootte per apparaat in op 16.
Stel evaluation_strategy in om elke epoch evaluatiecheckpoints te maken.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Code bewerken en uitvoeren