Токенізуйте текстовий набір даних

Ви працюєте над маркетинговим дослідженням для туристичного сайту й хочете використати наявний набір даних, щоб донавчити модель для класифікації відгуків про готелі. Ви вирішили скористатися бібліотекою datasets.

Клас AutoTokenizer попередньо імпортовано з transformers, а load_dataset() — з datasets.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

Додайте заповнення (padding) до токенайзера, щоб обробляти текст рівними пакетами.
Токенізуйте текстові дані за допомогою попередньо натренованого токенайзера GPT і визначеної функції.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

dataset = load_dataset("argilla/tripadvisor-hotel-reviews")

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")

# Add padding with the pad token
tokenizer.____

def tokenize_function(examples):
   return tokenizer(examples["text"], padding="max_length", truncation=True)

# Tokenize the dataset
tokenized_datasets = dataset.map(____, batched=True)

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі подано основи Reinforcement Learning with Human Feedback (RLHF) — підходу, що використовує людський внесок, аби моделі ШІ навчалися ефективніше. Почніть роботу з RLHF, зрозумівши, чим він відрізняється від класичного підкріплювального навчання та чому людський зворотний зв'язок може підвищувати продуктивність ШІ у різних галузях.

Exercise 1: Вступ до RLHF Exercise 2: Генерація тексту з RLHF Exercise 3: Класифікація згенерованого тексту для RLHF Exercise 4: RL проти RLHF Exercise 5: Дослідження попередньо натренованих LLM Exercise 6: Токенізуйте текстовий набір даних

Поточна вправа

Exercise 7: Тонке налаштування для класифікації відгуків Exercise 8: Підготовка даних для RLHF Exercise 9: Підготовка набору даних уподобань Exercise 10: Видобування підказок (prompts)

У цьому розділі ви дізнаєтеся, як налаштувати системи для збирання людського зворотного зв'язку. Ознайомитеся з найкращими практиками збирання якісних даних — від парних порівнянь до відбору за невизначеністю — і дослідите стратегії, що допомагають покращити процес збору даних.

Exercise 1: Методи збирання якісного відгуку Exercise 2: Розуміння порівняння та оцінювання в RLHF Exercise 3: Порівняння слоганів для кампанії спортзалу Exercise 4: Оцінювання якості та доречності відгуків Exercise 5: Низька впевненість Exercise 6: K-means для кластеризації відгуків Exercise 7: Активне навчання Exercise 8: Реалізація конвеєра active learning Exercise 9: Цикл активного навчання

У цьому розділі ви зануритеся в ядро навчання Reinforcement Learning from Human Feedback. Розглянете тонке налаштування з PPO, техніки ефективного тренування та способи обробки можливих відхилень від цілей ваших метрик.

Exercise 1: Розглядаємо моделі винагороди Exercise 2: Ініціалізація винагороди Exercise 3: Налаштування тренера винагород Exercise 4: Навчання з PPO Exercise 5: Ініціалізуйте тренер PPO Exercise 6: Тонке налаштування PPO Exercise 7: Ефективне донавчання в RLHF Exercise 8: Підготовка до навчання у 8 бітах Exercise 9: Навчання з LoRA

Ознайомтеся з ключовими методами оцінювання та вдосконалення якості моделей у фінальному розділі Reinforcement Learning from Human Feedback (RLHF): від метрик тонкого налаштування до залучення різних джерел зворотного зв'язку — ви отримаєте повний набір інструментів для ефективного доопрацювання моделей.

Exercise 1: Метрики моделі та коригування Exercise 2: Пом'якшення негативної KL-дивергенції Exercise 3: Перевіряємо модель винагороди Exercise 4: Залучення різноманітних джерел відгуків Exercise 5: Мажоритарне голосування на кількох джерелах даних Exercise 6: Виявлення ненадійного джерела даних Exercise 7: Оцінювання моделей RLHF Exercise 8: Інтерпретація кривих Exercise 9: Оцінювання RLHF за метриками Exercise 10: Підсумуємо вашу подорож у RLHF