Mendefinisikan resep kustom
Anda sedang melakukan fine-tuning model Llama yang telah dilatih sebelumnya untuk seorang klien yang memerlukan konfigurasi khusus. Rencana Anda adalah menggunakan TorchTune untuk fine-tuning, sehingga Anda perlu menyiapkan sebuah dictionary Python yang dapat digunakan untuk menyimpan kebutuhan resep kustom yang akan Anda gunakan untuk menjalankan tugas fine-tuning.
Latihan ini adalah bagian dari kursus
Fine-Tuning dengan Llama 3
Petunjuk latihan
- Tentukan kebutuhan klien dalam dictionary Anda: pertama, tambahkan model
torchtune.models.llama3_2.llama3_2_1b. - Tambahkan ukuran batch 8 dan perangkat GPU.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}