Lưu recipe tùy chỉnh
Khách hàng vừa yêu cầu điều chỉnh yêu cầu kỹ thuật. Lần này, họ muốn tăng số lượng tham số và dùng mô hình Llama 3.2 với 3B tham số. Bạn sẽ chỉnh sửa từ điển của mình theo yêu cầu này, rồi lưu nó dưới dạng tệp YAML.
Thư viện yaml đã được import sẵn.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Chỉ định yêu cầu mô hình mới, mô hình
torchtune.models.llama3_2.llama3_2_3b, trong từ điển của bạn. - Lưu các yêu cầu này thành một tệp YAML tên
custom_recipe.yaml.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____