ПочатиПочніть безкоштовно

Збереження власних рецептів

Клієнт попросив змінити вимоги. Цього разу вони хочуть збільшити кількість параметрів і використати модель Llama 3.2 з 3B параметрами. Ви вносите цю зміну до свого словника, а потім зберігаєте його як файл YAML.

Бібліотеку yaml уже імпортовано.

Ця вправа є частиною курсу

Тонке налаштування з Llama 3

Переглянути курс

Інструкції до вправи

  • Задайте нову вимогу до моделі — torchtune.models.llama3_2.llama3_2_3b — у вашому словнику.
  • Збережіть вимоги у файл YAML з назвою custom_recipe.yaml.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

config_dict = {
    # Update the model
    ____,
    "batch_size": 8,
    "device": "cuda",
    "optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
    "dataset": {"_component_": "custom_dataset"},
    "output_dir": "/tmp/finetune_results"
}

# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
    ____
Редагувати та запускати код