शुरू करेंमुफ़्त में शुरू करें

कस्टम रेसिपी सेव करना

अब ग्राहक ने आवश्यकताओं में बदलाव करने को कहा है। इस बार, वे पैरामीटर्स की संख्या बढ़ाना चाहते हैं और 3B पैरामीटर्स वाले Llama 3.2 मॉडल का उपयोग करना चाहते हैं। आप अपने dictionary में यह बदलाव करते हैं और फिर इसे एक YAML फ़ाइल के रूप में सेव करते हैं.

yaml लाइब्रेरी पहले से इम्पोर्ट की गई है.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Llama 3 के साथ फाइन-ट्यूनिंग

पाठ्यक्रम देखें

अभ्यास निर्देश

  • अपने dictionary में नए मॉडल की आवश्यकता, यानी torchtune.models.llama3_2.llama3_2_3b मॉडल, को निर्दिष्ट करें.
  • आवश्यकताओं को custom_recipe.yaml नाम की YAML फ़ाइल के रूप में सेव करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

config_dict = {
    # Update the model
    ____,
    "batch_size": 8,
    "device": "cuda",
    "optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
    "dataset": {"_component_": "custom_dataset"},
    "output_dir": "/tmp/finetune_results"
}

# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
    ____
कोड संपादित करें और चलाएँ