Підготовка набору даних вподобань
У цій вправі ви попрацюєте з набором даних, який містить зворотний зв'язок від людини у вигляді виходів «chosen» і «rejected». Ваше завдання — витягти підказки (prompts) зі стовпця «chosen» і підготувати дані для тренування моделі винагороди.
Функцію load_dataset з datasets уже імпортовано
Ця вправа є частиною курсу
Reinforcement Learning from Human Feedback (RLHF)
Інструкції до вправи
- Завантажте набір даних
qgallouedec/hh-rlhf-helpful-base-trl-styleз Hugging Face. - Напишіть функцію, яка витягує підказку з поля
'content', вважаючи, що підказка міститься за індексом0у вхідних даних функції. - Застосуйте функцію для витягування підказки до підмножини набору даних
'chosen'.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Load the dataset
preference_data = ____
# Define a function to extract the prompt
def extract_prompt(text):
____
return prompt
# Apply the function to the dataset
preference_data_with_prompt = ____(
lambda sample: {**sample, 'prompt': ____(sample['chosen'])}
)
sample = preference_data_with_prompt.select(range(1))
print(sample['prompt'])