報酬の初期化
あなたは、オンライン書店向けにパーソナライズされたレコメンデーションを提供する生成モデルのデプロイ最終段階にいます。人間が好む推薦にモデルを合わせ込むため、収集した選好データを使って報酬モデルを学習する必要があります。最初のステップは、モデルと設定パラメータを初期化することです。
AutoTokenizer と AutoModelForSequenceClassification は transformers から、RewardConfig は trl から事前に読み込まれています。
この演習はコースの一部です
人間のフィードバックによる強化学習（RLHF）
演習の手順
- Hugging Face の
AutoModelForSequenceClassificationを使って、シーケンス分類タスク用に GPT-1 モデル"openai-gpt"を読み込みます。 - 出力ディレクトリに
"output_dir"を使い、トークンの最大長を60に設定して、報酬設定を初期化します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load the pre-trained GPT-1 model for text classification
model = ____
tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
# Initialize the reward configuration and set max_length
config = ____(output_dir=____, max_length=____)