Trénink se smíšenou přesností pomocí Acceleratoru
Chceš zjednodušit svou PyTorch smyčku pro trénink jazykového překladového modelu se smíšenou přesností pomocí Accelerator. Postav novou trénovací smyčku, která Accelerator plně využije!
Některé objekty jsou předem načteny: dataset, model, dataloader a optimizer.
Toto cvičení je součástí kurzu
Efficient AI Model Training with PyTorch
Pokyny k cvičení
- Povol trénink se smíšenou přesností s využitím FP16 v
Accelerator. - Připrav trénovací objekty pro trénink se smíšenou přesností před spuštěním smyčky.
- Vypočítej gradienty ztrátové funkce pro trénink se smíšenou přesností.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()