K-means для кластеризації відгуків

У вас є набір даних із відповідями на відгуки, і ви використали модель GPT, щоб обчислити оцінки впевненості для кожної відповіді. Щоб знайти незвичні або «викидні» відгуки, ви застосовуєте кластеризацію k-means до відповідей із низькою впевненістю.

Алгоритм KMeans, змінні reviews і confidences, а також бібліотека np вже завантажені.

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

Ініціалізуйте алгоритм k-means. Встановіть random_state на 42 для відтворюваності коду.
Обчисліть відстані від центрів кластерів, щоб визначити викиди як різницю між data та відповідними центрами кластерів.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

def detect_anomalies(data, n_clusters=3):
    # Initialize k-means
    ____
    clusters = kmeans.fit_predict(data)
    centers = kmeans.cluster_centers_

    # Calculate distances from cluster centers
    ____
    return distances
  
anomalies = detect_anomalies(confidences)
print(anomalies)

Редагувати та запускати код

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі подано основи Reinforcement Learning with Human Feedback (RLHF) — підходу, що використовує людський внесок, аби моделі ШІ навчалися ефективніше. Почніть роботу з RLHF, зрозумівши, чим він відрізняється від класичного підкріплювального навчання та чому людський зворотний зв'язок може підвищувати продуктивність ШІ у різних галузях.

Exercise 1: Вступ до RLHF Exercise 2: Генерація тексту з RLHF Exercise 3: Класифікація згенерованого тексту для RLHF Exercise 4: RL проти RLHF Exercise 5: Дослідження попередньо натренованих LLM Exercise 6: Токенізуйте текстовий набір даних Exercise 7: Тонке налаштування для класифікації відгуків Exercise 8: Підготовка даних для RLHF Exercise 9: Підготовка набору даних уподобань Exercise 10: Видобування підказок (prompts)

У цьому розділі ви дізнаєтеся, як налаштувати системи для збирання людського зворотного зв'язку. Ознайомитеся з найкращими практиками збирання якісних даних — від парних порівнянь до відбору за невизначеністю — і дослідите стратегії, що допомагають покращити процес збору даних.

Exercise 1: Методи збирання якісного відгуку Exercise 2: Розуміння порівняння та оцінювання в RLHF Exercise 3: Порівняння слоганів для кампанії спортзалу Exercise 4: Оцінювання якості та доречності відгуків Exercise 5: Низька впевненість Exercise 6: K-means для кластеризації відгуків

Поточна вправа

Exercise 7: Активне навчання Exercise 8: Реалізація конвеєра active learning Exercise 9: Цикл активного навчання

У цьому розділі ви зануритеся в ядро навчання Reinforcement Learning from Human Feedback. Розглянете тонке налаштування з PPO, техніки ефективного тренування та способи обробки можливих відхилень від цілей ваших метрик.

Exercise 1: Розглядаємо моделі винагороди Exercise 2: Ініціалізація винагороди Exercise 3: Налаштування тренера винагород Exercise 4: Навчання з PPO Exercise 5: Ініціалізуйте тренер PPO Exercise 6: Тонке налаштування PPO Exercise 7: Ефективне донавчання в RLHF Exercise 8: Підготовка до навчання у 8 бітах Exercise 9: Навчання з LoRA

Ознайомтеся з ключовими методами оцінювання та вдосконалення якості моделей у фінальному розділі Reinforcement Learning from Human Feedback (RLHF): від метрик тонкого налаштування до залучення різних джерел зворотного зв'язку — ви отримаєте повний набір інструментів для ефективного доопрацювання моделей.

Exercise 1: Метрики моделі та коригування Exercise 2: Пом'якшення негативної KL-дивергенції Exercise 3: Перевіряємо модель винагороди Exercise 4: Залучення різноманітних джерел відгуків Exercise 5: Мажоритарне голосування на кількох джерелах даних Exercise 6: Виявлення ненадійного джерела даних Exercise 7: Оцінювання моделей RLHF Exercise 8: Інтерпретація кривих Exercise 9: Оцінювання RLHF за метриками Exercise 10: Підсумуємо вашу подорож у RLHF