1. Learn
    2. /
  2. Курси
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Вправа

Підготовка набору даних уподобань

У цій вправі ви працюватимете з набором даних, що містить людський зворотний зв'язок у вигляді виходів «chosen» і «rejected». Ваше завдання — витягти підказки (prompts) зі стовпця «chosen» і підготувати дані для навчання моделі винагороди.

Функцію load_dataset з datasets уже імпортовано.

Інструкції

100 XP
  • Завантажте набір даних trl-internal-testing/hh-rlhf-helpful-base-trl-style з Hugging Face.
  • Напишіть функцію, яка витягує підказку (prompt) з поля 'content', припускаючи, що підказка міститься за індексом 0 у вхідних даних функції.
  • Застосуйте функцію для витягування підказки до підмножини набору даних 'chosen'.