Adafactor s Trainerem

Trénuješ Transformer model s miliardami parametrů pro svou překladatelskou službu. Výpočetní zdroje jsou ale pod tlakem, a tak se rozhodneš vyzkoušet optimalizátor Adafactor, který má nižší nároky na paměť než AdamW. Připrav Trainer pro Adafactor!

Některé tréninkové objekty jsou již předpřipraveny: model, train_dataset, validation_dataset a compute_metrics.

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Nastav Adafactor jako optimalizátor v TrainingArguments.
Předej stav optimalizátoru pro výpis jeho velikosti.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Specify Adafactor as an optimizer
training_args = TrainingArguments(output_dir="./results",
                                  evaluation_strategy="epoch",
                                  optim="____")

trainer = Trainer(model=model,
                  args=training_args,
                  train_dataset=train_dataset,
                  eval_dataset=validation_dataset,
                  compute_metrics=compute_metrics)
trainer.train()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(trainer.optimizer.state.____())
print(f"\nNumber of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")

Upravit a spustit kód