शुरू करेंमुफ़्त में शुरू करें

LoRA एडेप्टर का उपयोग

आप एक स्टार्टअप में काम करते हैं जो कस्टमर सर्विस चैटबॉट बनाता है, जो ग्राहकों के सरल सवाल अपने आप सुलझा देते हैं.

आपको bitext डेटासेट का उपयोग करके Maykeye/TinyLLama-v0 लैंग्वेज मॉडल को कस्टमर सर्विस सवालों का जवाब देने के लिए फाइन-ट्यून करने का कार्य मिला है. यह मॉडल आपकी टीम के चैटबॉट में इस्तेमाल होगा. ट्रेनिंग स्क्रिप्ट लगभग पूरी है, लेकिन आपने फाइन-ट्यूनिंग में LoRA जोड़ने का निर्णय लिया, क्योंकि यह अधिक कुशल है और डिप्लॉयमेंट के दौरान आपकी टीम की ट्रेनिंग पाइपलाइन को तेज़ी से पूरा होने देगा.

संबंधित मॉडल, टोकनाइज़र, डेटासेट, और ट्रेनिंग आर्ग्युमेंट्स आपके लिए पहले से model, tokenizer, dataset, और training_arguments में लोड किए गए हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Llama 3 के साथ फाइन-ट्यूनिंग

पाठ्यक्रम देखें

अभ्यास निर्देश

  • संबंधित लाइब्रेरी से LoRA कॉन्फ़िगरेशन इम्पोर्ट करें.
  • दिए गए डिफ़ॉल्ट्स के साथ LoRA कॉन्फ़िगरेशन पैरामीटर का इंस्टैंस बनाकर उसे lora_config में रखें.
  • SFTTrainer में LoRA पैरामीटर इंटीग्रेट करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Import LoRA configuration class
from ____ import ____

# Instantiate LoRA configuration with values
lora_config = ____(
  	r=12,
    lora_alpha=8,
  	task_type="CAUSAL_LM",
    lora_dropout=0.05,
    bias="none",
    target_modules=['q_proj', 'v_proj']
)

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    tokenizer=tokenizer,
    args=training_arguments,
  	# Pass the lora_config to trainer
  	____,
)
कोड संपादित करें और चलाएँ