Оценка предобученной модели генерации текста

Команда PyBooks использовала предобученную модель GPT-2, с которой вы уже работали, чтобы сгенерировать текст на основе заданного запроса. Теперь им нужно оценить качество этого текста. Для этого вас попросили сравнить сгенерированный текст с эталонным и вычислить соответствующие метрики.

BLEUScore и ROUGEScore уже загружены для вас.

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

Посмотреть курс

Инструкции к упражнению

Инициализируйте две метрики — BLEU и ROUGE — из модуля torchmetrics.text.
С помощью инициализированных метрик вычислите оценки для сгенерированного и эталонного текстов.
Выведите на экран рассчитанные значения метрик BLEU и ROUGE.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."

# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()

# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])

# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)

Редактировать и запускать код

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматривается глубокое обучение для работы с текстом и его практические применения. Вы научитесь использовать PyTorch для обработки текста и получите практический опыт работы с такими техниками, как токенизация, стемминг, удаление стоп-слов и другими. Вы поймёте, почему важно кодировать текстовые данные, и реализуете техники кодирования с помощью PyTorch. В завершение вы закрепите полученные знания, построив конвейер обработки текста, объединяющий все изученные техники.

Exercise 1: Введение в предобработку текста Exercise 2: Анализ частоты слов Exercise 3: Предобработка текста Exercise 4: Кодирование текстовых данных Exercise 5: Унитарное кодирование названий книг Exercise 6: Метод «мешка слов» для названий книг Exercise 7: Применение TF-IDF к описаниям книг Exercise 8: Введение в построение конвейера обработки текста Exercise 9: Конвейер предобработки текстов Шекспира Exercise 10: Кодировщик шекспировского языка

Изучите классификацию текста и её роль в обработке естественного языка (NLP). Примените полученные знания на практике: реализуйте векторные представления слов, а также постройте свёрточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN) для классификации текста с помощью PyTorch. Вы также узнаете, как оценивать качество моделей с помощью подходящих метрик.

Exercise 1: Обзор классификации текстов Exercise 2: Эмбеддинг в PyTorch Exercise 3: Классификация задач текстовой классификации Exercise 4: Сверточные нейронные сети для классификации текста Exercise 5: Построение модели CNN для текста Exercise 6: Обучение модели CNN для классификации текста Exercise 7: Тестирование CNN-модели анализа тональности текста Exercise 8: Рекуррентные нейронные сети для классификации текста Exercise 9: Построение модели RNN для работы с текстом Exercise 10: Построение модели LSTM для текста Exercise 11: Создание модели GRU для работы с текстом Exercise 12: Метрики оценки для классификации текста Exercise 13: Оценка моделей классификации на основе RNN Exercise 14: Оценка производительности модели Exercise 15: Сравнение моделей

Откройте для себя увлекательный мир генерации текста и его применений в NLP. Вы узнаете, как использовать рекуррентные нейронные сети (RNN), генеративно-состязательные сети (GAN) и предобученные модели для задач генерации текста на PyTorch. Помимо этого, вы научитесь оценивать производительность своих моделей с помощью соответствующих метрик.

Exercise 1: Введение в генерацию текста Exercise 2: Создание модели RNN для генерации текста Exercise 3: Генерация текста с помощью RNN — обучение и генерация Exercise 4: Генеративно-состязательные сети для генерации текста Exercise 5: Создание генератора и дискриминатора Exercise 6: Обучение модели GAN Exercise 7: Предобученные модели для генерации текста Exercise 8: Дополнение текста с помощью предобученных моделей GPT-2 Exercise 9: Перевод текста с помощью предобученной модели PyTorch Exercise 10: Метрики оценки качества генерации текста Exercise 11: Оценка предобученной модели генерации текста

Текущее упражнение

Exercise 12: Понимание метрик генерации текста

Разберитесь в концепции трансферного обучения и его применении в классификации текста. Познакомьтесь с трансформерами, их архитектурой и тем, как использовать их для задач классификации и генерации текста. Вы также изучите механизмы внимания и их роль в обработке текста. В завершение вы поймёте, какие последствия могут иметь состязательные атаки на модели классификации текста, и научитесь защищать свои модели.

Exercise 1: Трансферное обучение для классификации текста Exercise 2: Трансферное обучение с помощью BERT Exercise 3: Оценка модели BERT Exercise 4: Трансформеры для обработки текста Exercise 5: Создание модели трансформера Exercise 6: Обучение и тестирование модели Transformer Exercise 7: Механизмы внимания для обработки текста Exercise 8: Создание модели RNN с механизмом внимания Exercise 9: Обучение и тестирование модели RNN с механизмом внимания Exercise 10: Состязательные атаки на модели классификации текста Exercise 11: Классификация состязательных атак Exercise 12: Защита ИИ в PyBooks Exercise 13: Подведение итогов