Определение пользовательских рецептов
Вы дообучаете предобученную модель Llama для клиента, которому требуются особые настройки. Вы планируете использовать TorchTune и хотите подготовить словарь Python для хранения параметров пользовательского рецепта, по которому будет запущена задача дообучения.
Это упражнение является частью курса
Файн-тюнинг с Llama 3
Инструкции к упражнению
- Укажите требования клиента в словаре: сначала добавьте модель
torchtune.models.llama3_2.llama3_2_1b. - Добавьте размер батча 8 и устройство GPU.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}