Adafactor com Accelerator

Você já demonstrou um prova de conceito do Adafactor com o Trainer para treinar seu modelo de tradução de idiomas com menor uso de memória. Agora, você quer personalizar seu loop de treino usando o Accelerator. Construa o loop de treino para usar o Adafactor!

A função compute_optimizer_size() já foi definida. Alguns objetos de treino já foram carregados: model, train_dataloader e accelerator.

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercício

Passe os parâmetros do modelo para o Adafactor ao definir o optimizer.
Passe o estado do otimizador para imprimir o tamanho.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Pass the model parameters to Adafactor
optimizer = ____(params=____.____())
model, optimizer, train_dataloader = accelerator.prepare(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

# Pass in the optimizer state
total_size_megabytes, total_num_elements = compute_optimizer_size(____.____.values())
print(f"Number of optimizer parameters: {total_num_elements:,}\nOptimizer size: {total_size_megabytes:.0f} MB")

Editar e executar o código