Llama のトレーニング引数を設定する

あなたは、質問応答向けに設計されたカスタマーサポートデータでファインチューニングし、カスタマーサポート用チャットボットで使われる Llama モデルを改良する担当です。これらのモデルの性能を最大化するため、チームはこのタスク向けに bitext データセットを用いて Llama モデルをファインチューニングします。

まずはトレーニングスクリプトが正しく動作するかを確認するため、トレーニングループのテスト実行を行いたいと考えています。そのため、学習率を小さく設定し、トレーニング引数で学習ステップ数を少数に制限して始めましょう。