Specifică TrainingArguments

Configurezi procesul de antrenament pentru modelul tău de limbaj. TrainingArguments specifică parametrii de intrare pentru Trainer. Acest exercițiu îți oferă valorile pentru acești parametri; în general, va trebui să îi ajustezi în funcție de model. Pregătește argumentele pentru ca modelul tău să folosească Trainer!

Unele date au fost preîncărcate:

output_dir este un director predefinit
Clasa TrainingArguments a fost importată

Acest exercițiu face parte din cursul

Antrenament eficient al modelelor AI cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Definește training_args folosind clasa TrainingArguments.
Setează learning_rate la 2e-5 pentru a ajusta fin ponderile preantrenate ale modelului tău.
Setează dimensiunea batch-ului de antrenament per dispozitiv la 16.
Setează evaluation_strategy pentru a crea puncte de control ale evaluării la fiecare epocă.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Editează și rulează codul