Tréninkové smyčky před Acceleratorem a po něm

Chceš upravit tréninkovou smyčku v PyTorchi tak, aby používala Accelerator pro tvůj jazykový model, který zjednodušuje překlady pomocí datasetu MPRC s parafrázemi vět. Aktualizuj tréninkovou smyčku, aby byl model připravený na distribuované trénování.

Některá data jsou předem načtena:

accelerator je instance třídy Accelerator
train_dataloader, optimizer, model a lr_scheduler jsou definovány a připraveny pomocí Accelerator

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Aktualizuj řádky s .to(device) tak, aby umístění na zařízení zajišťoval Accelerator.
Uprav výpočet gradientů tak, aby používal Accelerator.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

for batch in train_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch["input_ids"], batch["labels"]
    # Update the lines so Accelerator handles device placement
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    # Modify the gradient computation to use Accelerator
    ____.backward(____)
    optimizer.step()
    lr_scheduler.step()

Upravit a spustit kód