Accelerator के साथ mixed precision training
आप अपने language translation मॉडल की mixed precision training के लिए PyTorch लूप को Accelerator का उपयोग करके सरल बनाना चाहते हैं. Accelerator का लाभ उठाते हुए नया training loop बनाएँ!
कुछ ऑब्जेक्ट पहले से लोड किए गए हैं: dataset, model, dataloader, और optimizer.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
Acceleratorमें FP16 का उपयोग करते हुए mixed precision training सक्षम करें.- लूप से पहले training ऑब्जेक्ट्स को mixed precision training के लिए prepare करें.
- mixed precision training के लिए loss के gradients compute करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()