TrainingArguments festlegen

Du konfigurierst den Trainingsprozess für dein Sprachmodell. TrainingArguments legt Eingabeparameter für den Trainer fest. In dieser Übung sind Werte für diese Parameter vorgegeben; normalerweise musst du die Parameter für ein Modell abstimmen. Bereite die Argumente für dein Modell vor, um Trainer zu verwenden!

Einige Daten wurden vorab geladen:

output_dir ist ein vordefiniertes Verzeichnis
Die Klasse TrainingArguments wurde importiert

Diese Übung ist Teil des Kurses

<Kurs>Effizientes KI-Modelltraining mit PyTorch</Kurs>

Kurs ansehen

Übungsanweisungen

Definiere training_args mit der Klasse TrainingArguments.
Setze die learning_rate auf 2e-5, um die vortrainierten Gewichte deines Modells zu fine-tunen.
Setze die Trainings-Batch-Größe pro Gerät auf 16.
Setze evaluation_strategy, um nach jeder Epoche Evaluierungs-Checkpoints zu erzeugen.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Code bearbeiten und ausführen