Aangepaste recepten definiëren
Je bent een voorgetraind Llama-model aan het fine-tunen voor een klant die specifieke configuraties vereist. Je wilt TorchTune gebruiken voor het fine-tunen en moet daarom een Python-dictionary voorbereiden waarin je de vereisten kunt opslaan voor het aangepaste recept waarmee je de fine-tuningtaak gaat draaien.
Deze oefening maakt deel uit van de cursus
Fijn-afstemmen met Llama 3
Oefeninstructies
- Specificeer de klantvereisten in je dictionary: voeg eerst het model
torchtune.models.llama3_2.llama3_2_1btoe. - Voeg een batchgrootte van 8 en een GPU-device toe.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}