Ange TrainingArguments

Du konfigurerar träningsprocessen för din språkmodell. TrainingArguments anger indataparametrar till Trainer. I den här övningen finns värdena för parametrarna redan givna – i praktiken behöver du justera dem för varje modell. Förbered argumenten så att din modell kan använda Trainer!

En del data har förinslästs:

output_dir är en fördefinierad katalog
Klassen TrainingArguments har importerats

Den här övningen är en del av kursen

Effektiv AI-modellträning med PyTorch

Visa kurs

Övningsinstruktioner

Definiera training_args med hjälp av klassen TrainingArguments.
Sätt learning_rate till 2e-5 för att finjustera de förtränade vikterna i din modell.
Sätt träningsbatchstorleken per enhet till 16.
Sätt evaluation_strategy så att utvärderingskontrollpunkter skapas varje epok.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Redigera och kör kod