कस्टम रेसिपी परिभाषित करना
आप एक प्री-ट्रेंड Llama मॉडल को ऐसे ग्राहक के लिए फाइन-ट्यून कर रहे हैं जिसे कुछ खास कॉन्फ़िगरेशन चाहिए। आपका प्लान TorchTune का उपयोग करने का है, इसलिए आपको एक Python dictionary तैयार करनी है जिसमें आप उस कस्टम रेसिपी की आवश्यकताएँ स्टोर कर सकें जिसका उपयोग आप फाइन-ट्यूनिंग जॉब चलाने के लिए करेंगे।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Llama 3 के साथ फाइन-ट्यूनिंग
अभ्यास निर्देश
- अपनी dictionary में ग्राहक की आवश्यकताएँ स्पेसिफाई करें: सबसे पहले
torchtune.models.llama3_2.llama3_2_1bमॉडल जोड़ें। - batch size 8 और GPU device जोड़ें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}