ПочатиПочніть безкоштовно

Ініціалізуйте тренер PPO

Ви працюєте в компанії з обслуговування клієнтів, яка використовує чатбота для обробки звернень. Чатбот надає корисні відповіді, але нещодавно ви отримали відгук, що їм бракує глибини. Потрібно донавчити модель, на якій працює чатбот, і ви починаєте зі створення екземпляра тренера PPO.

dataset_cs уже завантажено.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

  • Ініціалізуйте конфігурацію PPO з назвою моделі "gpt2" і швидкістю навчання 1.2e-5.
  • Завантажте AutoModelForCausalLMWithValueHead, каузальну мовну модель із value head.
  • Створіть PPOTrainer() з використанням щойно визначених моделі, конфігурації та токенайзера, а також попередньо завантаженого набору даних.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

from trl import PPOConfig, AutoModelForCausalLMWithValueHead, PPOTrainer
from transformers import AutoTokenizer

# Initialize PPO Configuration
gpt2_config = ____(model_name=____, learning_rate=____)

# Load the model
gpt2_model = ____(gpt2_config.model_name)
gpt2_tokenizer = AutoTokenizer.from_pretrained(gpt2_config.model_name)

# Initialize PPO Trainer
ppo_trainer = ____
Редагувати та запускати код