Adafactor z Acceleratorem
Udało ci się przygotować przykładowe rozwiązanie z Adafactor i Trainer do trenowania modelu tłumaczenia językowego z mniejszymi wymaganiami pamięciowymi. Teraz chcesz dostosować pętlę treningową, korzystając z Accelerator. Zbuduj pętlę treningową wykorzystującą Adafactor!
Funkcja compute_optimizer_size() została wcześniej zdefiniowana. Niektóre obiekty treningowe są już wczytane: model, train_dataloader oraz accelerator. Adafactor został zaimportowany z torch.optim.
To ćwiczenie jest częścią kursu
Efektywne trenowanie modeli AI z PyTorch
Instrukcje do ćwiczenia
- Przekaż parametry modelu do
Adafactorpodczas definiowaniaoptimizer. - Przekaż stan optymalizatora, aby wyświetlić jego rozmiar.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Pass the model parameters to Adafactor
optimizer = Adafactor(params=____.____())
model, optimizer, train_dataloader = accelerator.prepare(model, optimizer, train_dataloader)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
optimizer.step()
optimizer.zero_grad()
# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(optimizer.state.____())
print(f"Number of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")