Die TrainingArguments festlegen

Du konfigurierst den Trainingsprozess für dein Sprachmodell. TrainingArguments legt die Eingabeparameter für Trainer fest. In dieser Übung sind Werte für diese Parameter vorgegeben; generell musst du die Parameter für ein Modell abstimmen. Bereite die Argumente vor, damit dein Modell Trainer verwenden kann!

Einige Daten wurden vorab geladen:

output_dir ist ein vordefiniertes Verzeichnis
Die Klasse TrainingArguments wurde importiert

Diese Übung ist Teil des Kurses

Effizientes KI-Modelltraining mit PyTorch

Kurs anzeigen

Anleitung zur Übung

Definiere training_args mithilfe der Klasse TrainingArguments.
Setze die learning_rate auf 2e-5, um die vortrainierten Gewichte deines Modells zu fine-tunen.
Setze die Trainings-Batchgröße pro Gerät auf 16.
Setze die Evaluations-Checkpoints auf jede "epoch".

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Code bearbeiten und ausführen