学習サンプルを作成する
自社チームで開発中のカスタマーサポート用チャットボットの一環として、最終的に言語モデルのファインチューニングに使うデータセットを前処理するパイプラインを作成します。これにより、顧客の質問の意図を予測し、適切な担当チームにリクエストを振り分けられるようにします。
顧客の質問と意図が別々の列に入ったデータセットが与えられており、各サンプルの質問と意図を、指定したプロンプト形式で 1 つの文字列に結合するよう前処理したいと考えています。
データセットはすでに dataset に読み込まれています。instruction 列には顧客からの質問が、intent 列にはユーザーの意図が含まれています。
この演習はコースの一部です
Llama 3 のファインチューニング
演習の手順
"Query: {instruction}\nIntent: {intent}"の形式で、instruction と intent を含むプロンプト文字列を作成します。- データセットを引数に指定して
create_intent_exampleを各行に適用するよう、関数呼び出しを記入します。 - データセットの最初の行にある
intent_example列の値を取り出して表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def create_intent_example(row):
# Fill out the columns in the prompt
row['intent_example'] = ____
return row
# Call the ds method to apply our preprocessing function to all rows
processed_dataset = dataset.____(____)
# Print the intent_example in the first row of the processed data
print(processed_dataset[____][____])