शुरू करेंमुफ़्त में शुरू करें

Llama के लिए training arguments सेट करना

आपको कस्टमर सर्विस चैटबॉट में उपयोग किए जाने वाले Llama मॉडल पर काम करना है, जिसे प्रश्न-उत्तर के लिए तैयार किए गए कस्टमर सर्विस डेटा पर फाइन-ट्यून किया जाएगा। इन मॉडलों से सर्वोत्तम परफॉर्मेंस पाने के लिए, आपकी टीम इस कार्य के लिए bitext डेटासेट का उपयोग करके एक Llama मॉडल को फाइन-ट्यून करेगी.

आप ट्रेनिंग स्क्रिप्ट काम कर रही है या नहीं, यह जाँचने के लिए ट्रेनिंग लूप का एक टेस्ट रन करना चाहते हैं। इसलिए, आप शुरुआत में छोटा लर्निंग रेट रखना चाहते हैं और अपने training arguments में स्टेप्स की संख्या को सीमित करना चाहते हैं।

यह अभ्यास पाठ्यक्रम का हिस्सा है

Llama 3 के साथ फाइन-ट्यूनिंग

पाठ्यक्रम देखें

अभ्यास निर्देश

  • अपने training arguments स्टोर करने के लिए हेल्पर क्लास को इम्पोर्ट करें और उसका इंस्टेंस बनाएँ।
  • लर्निंग रेट का training argument 2e-3 मान पर सेट करें।

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Load helper class for the training arguments from the correct library
from ____ import ____ 
training_arguments = ____(
  	# Set learning rate
    ____=____, 
    warmup_ratio=0.03,
  	num_train_epochs=3,
  	output_dir='/tmp',
    per_device_train_batch_size=1,
    gradient_accumulation_steps=1,
    save_steps=10,
    logging_steps=2,
    lr_scheduler_type='constant',
    report_to='none'
)
कोड संपादित करें और चलाएँ