Adafactor s Acceleratorem

Dokázal/a sis, že Adafactor funguje s Trainer při trénování modelu pro překlad jazyka se sníženými paměťovými nároky. Teď chceš přizpůsobit trénovací smyčku pomocí Accelerator. Sestav trénovací smyčku s využitím Adafactor!

Funkce compute_optimizer_size() je předem definovaná. Některé trénovací objekty jsou předem načteny: model, train_dataloader a accelerator. Adafactor je předem importován z torch.optim.

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Předej parametry modelu do Adafactor při definování optimizer.
Předej stav optimizeru pro výpis jeho velikosti.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Pass the model parameters to Adafactor
optimizer = Adafactor(params=____.____())
model, optimizer, train_dataloader = accelerator.prepare(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(optimizer.state.____())
print(f"Number of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")

Upravit a spustit kód