Trainer के साथ 8-bit Adam
आपने 8-bit Adam ऑप्टिमाइज़र सेट कर लिया है और अब इसे ट्रेनिंग में उपयोग करने के लिए तैयार हैं। Trainer को 8-bit Adam के लिए तैयार कीजिए!
कुछ डेटा पहले से लोड है:
adam_bnb_optimऑप्टिमाइज़रmodel,train_dataset, औरtraining_argsजैसे ट्रेनिंग ऑब्जेक्ट्स
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
- 8-bit Adam ऑप्टिमाइज़र को
Trainerमें पास करें।
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Pass 8-bit Adam to the Trainer
trainer = Trainer(model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=validation_dataset,
compute_metrics=compute_metrics,
optimizers=(____, None))