Визначення користувацьких рецептів
Ви виконуєте донавчання попередньо натренованої моделі Llama для замовника, якому потрібні конкретні налаштування. Ви плануєте використати TorchTune для донавчання, тож вам потрібно підготувати словник Python, у якому ви збережете вимоги для користувацького рецепта, що використовуватимете для запуску завдання донавчання.
Ця вправа є частиною курсу
Тонке налаштування з Llama 3
Інструкції до вправи
- Задайте вимоги замовника у вашому словнику: спершу додайте модель
torchtune.models.llama3_2.llama3_2_1b. - Додайте batch size 8 і GPU-пристрій.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}