Definirea rețetelor personalizate
Faci fine-tuning pe un model Llama pre-antrenat pentru un client care are cerințe specifice de configurare. Planul tău este să folosești TorchTune pentru fine-tuning, așa că trebuie să pregătești un dicționar Python în care să stochezi cerințele pentru rețeta personalizată pe care o vei folosi la rularea sarcinii de fine-tuning.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Specifică cerințele clientului în dicționarul tău: mai întâi, adaugă modelul
torchtune.models.llama3_2.llama3_2_1b. - Adaugă o dimensiune de lot (batch size) de 8 și un dispozitiv GPU.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}