Enregistrer des recettes personnalisées
Le client vous demande maintenant une modification du cahier des charges. Cette fois, il souhaite augmenter le nombre de paramètres et utiliser le modèle Llama 3.2 avec 3B de paramètres. Effectuez cette modification dans votre dictionnaire, puis enregistrez-le en tant que fichier YAML.
La bibliothèque yaml a déjà été importée.
Cet exercice fait partie du cours
<cours>Ajustement fin avec Llama 3</cours>Instructions de l’exercice
- Indiquez la nouvelle exigence de modèle, le modèle
torchtune.models.llama3_2.llama3_2_3b, dans votre dictionnaire. - Enregistrez les exigences dans un fichier YAML nommé
custom_recipe.yaml.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____