Định nghĩa recipe tùy chỉnh
Bạn đang fine-tune một mô hình Llama đã được huấn luyện trước cho một khách hàng có các cấu hình cụ thể. Kế hoạch của bạn là dùng TorchTune để fine-tune, vì vậy bạn cần chuẩn bị một dictionary trong Python để lưu các yêu cầu cho recipe tùy chỉnh mà bạn sẽ dùng để chạy tác vụ fine-tuning.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Chỉ định các yêu cầu của khách hàng trong dictionary của bạn: trước hết, thêm mô hình
torchtune.models.llama3_2.llama3_2_1b. - Thêm batch size là 8 và thiết bị GPU.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}