Menyimpan resep kustom
Pelanggan kini meminta perubahan pada persyaratan. Kali ini, mereka ingin menambah jumlah parameter dan menggunakan model Llama 3.2 dengan 3B parameter. Anda melakukan perubahan ini pada kamus Anda, lalu menyimpannya sebagai berkas YAML.
Pustaka yaml sudah diimpor sebelumnya.
Latihan ini adalah bagian dari kursus
Fine-Tuning dengan Llama 3
Petunjuk latihan
- Tentukan persyaratan model yang baru, yaitu model
torchtune.models.llama3_2.llama3_2_3b, di dalam kamus Anda. - Simpan persyaratan tersebut sebagai berkas YAML bernama
custom_recipe.yaml.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____