カスタムレシピの定義
ある顧客向けに、特定の設定で事前学習済みの Llama モデルをファインチューニングします。TorchTune を使ってファインチューニングする予定のため、実行に用いるカスタムレシピの要件を保存できるよう、Python の辞書を準備してください。
この演習はコースの一部です
Llama 3 のファインチューニング
演習の手順
- 辞書に顧客要件を指定します。まず、
torchtune.models.llama3_2.llama3_2_1bモデルを追加します。 - バッチサイズは 8、デバイスは GPU を追加します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
config_dict = {
# Define the model
____,
# Define the batch size
____,
# Define the device type
____,
"epochs": 15,
"optimizer": {"_component_": "bitsandbytes.optim.PagedAdamW8bit", "lr": 3e-05},
"dataset": {"_component_": "custom_dataset"},
"output_dir": "/tmp/finetune_results"
}