आप देख रहे हैं कि रियल-टाइम लैंग्वेज ट्रांसलेशन के लिए अपने Transformer मॉडल का ट्रेनिंग Adafactor के साथ प्रभावी ढंग से नहीं सीख रहा है। विकल्प के तौर पर, आप 8-bit Adam ऑप्टिमाइज़र आज़माने का निर्णय लेते हैं ताकि Adam की तुलना में लगभग 75% मेमोरी कम हो सके।

bitsandbytes लाइब्रेरी bnb नाम से इम्पोर्ट की गई है, TrainingArguments को args के रूप में परिभाषित किया गया है, और optimizer_grouped_parameters पहले से लोड है। ध्यान दें कि यह अभ्यास libbitsandbytes_cpu.so के बारे में एक चेतावनी संदेश प्रिंट करता है, लेकिन इस चेतावनी को आप अभ्यास पूरा करने के लिए नज़रअंदाज़ कर सकते हैं.

Adafactor के साथ मेमोरी-इफिशिएंट ट्रेनिंग

Create Your Free Account