カスタムレシピを保存する
顧客から要件変更の依頼がありました。今回はパラメータ数を増やし、3Bパラメータの Llama 3.2 モデルを使いたいとのことです。辞書をこの要件に合わせて修正し、YAML ファイルとして保存します。
yaml ライブラリはあらかじめインポートされています。
この演習はコースの一部です
Llama 3 のファインチューニング
演習の手順
- 新しいモデル要件である
torchtune.models.llama3_2.llama3_2_3bモデルを辞書に指定します。 - 要件を
custom_recipe.yamlという名前の YAML ファイルに保存します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
config_dict = {
# Update the model
____,
"batch_size": 8,
"device": "cuda",
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}
# Save the updated configuration to a new YAML file
with open("custom_recipe.yaml", "w") as yaml_file:
____