शुरू करेंमुफ़्त में शुरू करें

8-बिट Training की तैयारी करें

आप RLHF फाइन-ट्यूनिंग शुरू करना चाहते थे, लेकिन आपको बार-बार out-of-memory errors मिल रहे थे. इसे ठीक करने के लिए, आपने 8-बिट प्रिसिजन पर स्विच करने का निर्णय लिया, जिससे Hugging Face की peft लाइब्रेरी का उपयोग करके अधिक कुशल फाइन-ट्यूनिंग संभव हो जाती है.

निम्नलिखित पहले से इम्पोर्ट किए गए हैं:

  • transformers से AutoModelForCausalLM
  • peft से prepare_model_for_int8_training
  • trl से AutoModelForCausalLMWithValueHead

यह अभ्यास पाठ्यक्रम का हिस्सा है

मानवीय फीडबैक से रिइनफोर्समेंट लर्निंग (RLHF)

पाठ्यक्रम देखें

अभ्यास निर्देश

  • प्री-ट्रेंड मॉडल लोड करें और सुनिश्चित करें कि 8-बिट प्रिसिजन के लिए पैरामीटर शामिल हो.
  • LoRA-आधारित फाइन-ट्यूनिंग के लिए मॉडल तैयार करने हेतु prepare_model_for_int8_training फंक्शन का उपयोग करें.
  • PPO ट्रेनिंग के लिए वैल्यू हेड के साथ मॉडल लोड करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

model_name = "gpt2"  

# Load the model in 8-bit precision
pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                       model_name, 
                                                       ____=True
                                                      )

# Prepare the model for fine-tuning
pretrained_model_8bit = ____(pretrained_model)

# Load the model with a value head
model = ____.from_pretrained(pretrained_model_8bit)
कोड संपादित करें और चलाएँ