Konfigurowanie TrainingArguments

Konfigurujesz proces trenowania modelu językowego. Klasa TrainingArguments określa parametry wejściowe dla Trainer. To ćwiczenie dostarcza wartości tych parametrów – zazwyczaj trzeba je dostrajać indywidualnie dla każdego modelu. Przygotuj argumenty, aby móc użyć Trainer ze swoim modelem!

Niektóre dane zostały już wczytane:

output_dir to wstępnie zdefiniowany katalog
Klasa TrainingArguments została zaimportowana

To ćwiczenie jest częścią kursu

Efektywne trenowanie modeli AI z PyTorch

Zobacz kurs

Instrukcje do ćwiczenia

Zdefiniuj training_args, korzystając z klasy TrainingArguments.
Ustaw learning_rate na 2e-5, aby dostroić wagi wstępnie wytrenowanego modelu.
Ustaw rozmiar wsadu treningowego na każdym urządzeniu na 16.
Ustaw evaluation_strategy tak, aby punkty kontrolne ewaluacji były tworzone po każdej epoce.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Edytuj i uruchom kod