Specifica i TrainingArguments

Stai configurando il processo di training per il tuo modello di linguaggio. TrainingArguments specifica i parametri di input per Trainer. Questo esercizio fornisce i valori per questi parametri; in generale, dovrai ottimizzarli per un modello. Prepara gli argomenti per far usare Trainer al tuo modello!

Alcuni dati sono già stati caricati:

output_dir è una directory predefinita
La classe TrainingArguments è stata importata

Questo esercizio fa parte del corso

Efficient AI Model Training with PyTorch

Visualizza corso

Istruzioni dell'esercizio

Definisci training_args usando la classe TrainingArguments.
Imposta learning_rate a 2e-5 per fare fine-tuning dei pesi pre-addestrati del tuo modello.
Imposta la dimensione del batch di training per ciascun dispositivo a 16.
Imposta evaluation_strategy per creare checkpoint di valutazione a ogni epoch.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Modifica ed esegui il codice