K-means для кластеризации отзывов

У вас есть набор данных с отзывами, и вы использовали модель GPT для вычисления оценок уверенности для каждого ответа. Чтобы выявить нетипичные или аномальные отзывы, примените кластеризацию методом k-средних к ответам с низкой уверенностью.

Алгоритм KMeans, переменные reviews и confidences, а также библиотека np уже загружены.

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Посмотреть курс

Инструкции к упражнению

Инициализируйте алгоритм k-средних. Установите random_state равным 42 для воспроизводимости кода.
Вычислите расстояния от центров кластеров, чтобы определить выбросы — как разницу между data и соответствующими центрами кластеров.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

def detect_anomalies(data, n_clusters=3):
    # Initialize k-means
    ____
    clusters = kmeans.fit_predict(data)
    centers = kmeans.cluster_centers_

    # Calculate distances from cluster centers
    ____
    return distances
  
anomalies = detect_anomalies(confidences)
print(anomalies)

Редактировать и запускать код

Это упражнение является частью курса

Обучение с подкреплением на основе обратной связи от людей (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматриваются основы обучения с подкреплением на основе обратной связи от людей (RLHF) — метода, при котором человеческая обратная связь помогает моделям ИИ обучаться эффективнее. Вы познакомитесь с RLHF, поймёте, чем он отличается от традиционного обучения с подкреплением, и узнаете, почему обратная связь от людей способна повысить качество ИИ в различных областях.

Exercise 1: Введение в RLHF Exercise 2: Генерация текста с помощью RLHF Exercise 3: Классификация сгенерированного текста для RLHF Exercise 4: RL и RLHF Exercise 5: Изучение предобученных LLM Exercise 6: Токенизация текстового набора данных Exercise 7: Дообучение для классификации отзывов Exercise 8: Подготовка данных для RLHF Exercise 9: Подготовка набора данных с предпочтениями Exercise 10: Извлечение запросов

В этой главе вы узнаете, как выстраивать системы сбора обратной связи от людей. Изучите лучшие практики получения качественных данных — от попарных сравнений до выборки с неопределённостью — и освойте стратегии повышения эффективности сбора данных.

Exercise 1: Методы сбора качественной обратной связи Exercise 2: Сравнение и оценка в RLHF Exercise 3: Сравнение слоганов для рекламной кампании фитнес-клуба Exercise 4: Измерение качества и релевантности обратной связи Exercise 5: Низкая уверенность Exercise 6: K-means для кластеризации отзывов

Текущее упражнение

Exercise 7: Активное обучение Exercise 8: Реализация конвейера активного обучения Exercise 9: Цикл активного обучения

В этой главе вы погрузитесь в процесс обучения с подкреплением на основе обратной связи от людей. Вы рассмотрите тонкую настройку с помощью PPO, методы эффективного обучения и способы работы с возможными отклонениями от целевых метрик.

Exercise 1: Обзор моделей вознаграждения Exercise 2: Инициализация вознаграждения Exercise 3: Настройка тренера модели вознаграждения Exercise 4: Обучение с PPO Exercise 5: Инициализация PPO-тренера Exercise 6: Дообучение с PPO Exercise 7: Эффективная тонкая настройка в RLHF Exercise 8: Подготовка к обучению в 8-битном режиме Exercise 9: Обучение с LoRA

В последней главе курса по RLHF вы изучите ключевые методы оценки и улучшения качества моделей: от настройки метрик до использования разнообразных источников обратной связи. Вы получите полный набор инструментов для эффективного совершенствования своих моделей.

Exercise 1: Метрики и настройка модели Exercise 2: Устранение отрицательной KL-дивергенции Exercise 3: Проверка модели вознаграждения Exercise 4: Включение разнообразных источников обратной связи Exercise 5: Метод большинства голосов для нескольких источников данных Exercise 6: Выявление ненадёжных источников данных Exercise 7: Оценка моделей RLHF Exercise 8: Интерпретация кривых Exercise 9: Оценка RLHF с помощью метрик Exercise 10: Подводим итоги вашего пути в RLHF