AdamW met Accelerator

Je wilt je trainingslus aanpassen met Accelerator en AdamW gebruiken als referentie-optimizer voor je vertaalsysteem. Bouw de trainingslus zodat deze AdamW gebruikt.

Sommige trainingsobjecten zijn al vooraf geladen en gedefinieerd, waaronder model, train_dataloader en accelerator.

Deze oefening maakt deel uit van de cursus

Efficiënt AI-modellen trainen met PyTorch

Bekijk cursus

Oefeninstructies

Bereid trainingsobjecten voor op gedistribueerde training vóór de lus.
Werk de modelparameters bij in de trainingslus.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

optimizer = AdamW(params=model.parameters())

# Prepare training objects for distributed training
model, optimizer, train_dataloader = ____.____(model, optimizer, train_dataloader)

for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    # Update the model parameters
    ____.____()
    optimizer.zero_grad()
    print(f"Loss = {loss}")

Code bewerken en uitvoeren