ПочатиПочніть безкоштовно

Підготовка набору даних вподобань

У цій вправі ви попрацюєте з набором даних, який містить зворотний зв'язок від людини у вигляді виходів «chosen» і «rejected». Ваше завдання — витягти підказки (prompts) зі стовпця «chosen» і підготувати дані для тренування моделі винагороди.

Функцію load_dataset з datasets уже імпортовано

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

  • Завантажте набір даних qgallouedec/hh-rlhf-helpful-base-trl-style з Hugging Face.
  • Напишіть функцію, яка витягує підказку з поля 'content', вважаючи, що підказка міститься за індексом 0 у вхідних даних функції.
  • Застосуйте функцію для витягування підказки до підмножини набору даних 'chosen'.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load the dataset
preference_data = ____

# Define a function to extract the prompt
def extract_prompt(text):
    ____
    return prompt

# Apply the function to the dataset 
preference_data_with_prompt = ____(
    lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)

sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])
Редагувати та запускати код