始める無料で始める

Llama のトレーニング引数を設定する

あなたは、質問応答向けに設計されたカスタマーサポートデータでファインチューニングし、カスタマーサポート用チャットボットで使われる Llama モデルを改良する担当です。これらのモデルの性能を最大化するため、チームはこのタスク向けに bitext データセットを用いて Llama モデルをファインチューニングします。

まずはトレーニングスクリプトが正しく動作するかを確認するため、トレーニングループのテスト実行を行いたいと考えています。そのため、学習率を小さく設定し、トレーニング引数で学習ステップ数を少数に制限して始めましょう。

この演習はコースの一部です

Llama 3 のファインチューニング

コースを見る

演習の手順

  • トレーニング引数を保存するためのヘルパークラスをインポートしてインスタンス化します。
  • 学習率のトレーニング引数を 2e-3 に設定します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Load helper class for the training arguments from the correct library
from ____ import ____ 
training_arguments = ____(
  	# Set learning rate
    ____=____, 
    warmup_ratio=0.03,
  	num_train_epochs=3,
  	output_dir='/tmp',
    per_device_train_batch_size=1,
    gradient_accumulation_steps=1,
    save_steps=10,
    logging_steps=2,
    lr_scheduler_type='constant',
    report_to='none'
)
コードを編集して実行