始める無料で始める

選好データセットの準備

この演習では、「chosen」と「rejected」という形式で人間からのフィードバックを含むデータセットを扱います。「chosen」列からプロンプトを抽出し、報酬モデルの学習用にデータを準備しましょう。

datasets の load_dataset 関数はあらかじめインポートされています

この演習はコースの一部です

人間のフィードバックによる強化学習（RLHF）

コースを見る

演習の手順

  • Hugging Face から qgallouedec/hh-rlhf-helpful-base-trl-style データセットを読み込みます。
  • 'content' フィールドからプロンプトを抽出する関数を作成します。ここでは、関数への入力の 0 番目のインデックスにプロンプトがあることを前提とします。
  • プロンプトを抽出する関数を 'chosen' のデータセットサブセットに適用します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Load the dataset
preference_data = ____

# Define a function to extract the prompt
def extract_prompt(text):
    ____
    return prompt

# Apply the function to the dataset 
preference_data_with_prompt = ____(
    lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)

sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])
コードを編集して実行