Enregistrer des recettes personnalisées
Le client vous demande maintenant de modifier les exigences. Cette fois, il souhaite augmenter le nombre de paramètres et utiliser le modèle Llama 3.2 avec 3B de paramètres. Vous apportez cette modification à votre dictionnaire, puis vous l'enregistrez dans un fichier YAML.
La bibliothèque yaml a déjà été importée.
Cette activité fait partie du cours
Ajustement fin avec Llama 3
Instructions de l’exercice
- Spécifiez la nouvelle exigence de modèle, soit le modèle
torchtune.models.llama3_2.llama3_2_3b, dans votre dictionnaire. - Enregistrez les exigences dans un fichier YAML nommé
custom_recipe.yaml.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____