Nastavení TrainingArguments

Teď nakonfiguruješ trénovací proces pro svůj jazykový model. TrainingArguments definuje vstupní parametry pro Trainer. V tomto cvičení jsou hodnoty parametrů předem dané – v praxi je budeš muset ladit sám/sama podle konkrétního modelu. Připrav argumenty, aby mohl tvůj model využít Trainer!

Některá data jsou předem načtena:

output_dir je předdefinovaný adresář
Třída TrainingArguments je již naimportována

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Definuj training_args pomocí třídy TrainingArguments.
Nastav learning_rate na 2e-5, aby se doladily předtrénované váhy modelu.
Nastav velikost trénovací dávky na každém zařízení na 16.
Nastav evaluation_strategy tak, aby se kontrolní body vyhodnocování vytvářely po každé epoše.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Upravit a spustit kód