8-bit Adam ऑप्टिमाइज़र सेट अप करें
आप देख रहे हैं कि रियल-टाइम लैंग्वेज ट्रांसलेशन के लिए अपने Transformer मॉडल का ट्रेनिंग Adafactor के साथ प्रभावी ढंग से नहीं सीख रहा है। विकल्प के तौर पर, आप 8-bit Adam ऑप्टिमाइज़र आज़माने का निर्णय लेते हैं ताकि Adam की तुलना में लगभग 75% मेमोरी कम हो सके।
bitsandbytes लाइब्रेरी bnb नाम से इम्पोर्ट की गई है, TrainingArguments को args के रूप में परिभाषित किया गया है, और optimizer_grouped_parameters पहले से लोड है। ध्यान दें कि यह अभ्यास libbitsandbytes_cpu.so के बारे में एक चेतावनी संदेश प्रिंट करता है, लेकिन इस चेतावनी को आप अभ्यास पूरा करने के लिए नज़रअंदाज़ कर सकते हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
अभ्यास निर्देश
bnb.optimकीAdam8bitक्लास का उपयोग करके 8-bit Adam ऑप्टिमाइज़र इंस्टैंशिएट करें.- 8-bit Adam ऑप्टिमाइज़र में beta1 और beta2 पैरामीटर पास करें.
- 8-bit Adam ऑप्टिमाइज़र में epsilon पैरामीटर पास करें.
- 8-bit Adam ऑप्टिमाइज़र से इनपुट पैरामीटर प्रिंट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Instantiate the 8-bit Adam optimizer
adam_bnb_optim = bnb.optim.____(optimizer_grouped_parameters,
# Pass in the beta1 and beta2 parameters
betas=(args.____, args.____),
# Pass in the epsilon parameter
eps=args.____,
lr=args.learning_rate)
# Print the input parameters
print(f"beta1 = {args.adam_beta1}")
print(f"beta2 = {args.____}")
print(f"epsilon = {args.____}")
print(f"learning_rate = {args.learning_rate}")