顧客対応向けにLlamaをLoRAでファインチューニングする

あなたはカスタマーサポートの質問に答える言語モデルをファインチューニングする担当になりました。 Llamaモデルは質問応答が得意で、この顧客対応タスクでもうまく機能するはずです。ですが、通常のファインチューニングを行う計算資源がないため、bitext データセットを使ってLoRAによるファインチューニングを行う必要があります。

Maykeye/TinyLLama-v0 を学習できるようにしたいと考えています。学習スクリプトはほぼ完成しており、LoRAの設定パラメータ以外の学習コードはすでに用意されています。

該当するモデル、トークナイザー、データセット、学習用引数は、それぞれ model、tokenizer、dataset、training_arguments に読み込まれています。