始める無料で始める

PPO トレーナーを初期化する

あなたは顧客対応を行う企業で働いており、チャットボットが問い合わせに対応しています。チャットボットは有用な回答を返しますが、最近「内容が浅い」というフィードバックが届きました。そこで、チャットボットの背後にあるモデルをファインチューニングする必要があります。まずは PPO トレーナーのインスタンス作成から始めましょう。

dataset_cs はすでに読み込まれています。

この演習はコースの一部です

人間のフィードバックによる強化学習（RLHF）

コースを見る

演習の手順

  • モデル名を "gpt2"、学習率を 1.2e-5 として、PPO の設定を初期化します。
  • Value head を備えた因果言語モデルである AutoModelForCausalLMWithValueHead を読み込みます。
  • 定義したモデル、設定、トークナイザーと、あらかじめ読み込まれているデータセットを用いて、PPOTrainer() を作成します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

from trl import PPOConfig, AutoModelForCausalLMWithValueHead, PPOTrainer
from transformers import AutoTokenizer

# Initialize PPO Configuration
gpt2_config = ____(model_name=____, learning_rate=____)

# Load the model
gpt2_model = ____(gpt2_config.model_name)
gpt2_tokenizer = AutoTokenizer.from_pretrained(gpt2_config.model_name)

# Initialize PPO Trainer
ppo_trainer = ____
コードを編集して実行