Menyimpan resep kustom
Pelanggan kini meminta perubahan pada persyaratan. Kali ini, mereka ingin menambah jumlah parameter dan menggunakan model Llama 3.2 dengan 3B parameter. Anda melakukan perubahan ini pada kamus Anda, lalu menyimpannya sebagai berkas YAML.
Pustaka yaml sudah diimpor sebelumnya.
Latihan ini merupakan bagian dari kursus
Fine-Tuning dengan Llama 3
Instruksi latihan
- Tentukan persyaratan model yang baru, yaitu model
torchtune.models.llama3_2.llama3_2_3b, di dalam kamus Anda. - Simpan persyaratan tersebut sebagai berkas YAML bernama
custom_recipe.yaml.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____