Понимание метрик генерации текста

Команда PyBooks только что оценила качество работы предобученной модели с помощью показателя BLEU и получила результат около 0,082, а значение rouge1_fmeasure составило примерно 0,2692. Эти метрики отражают точность (какая доля выбранных элементов является релевантной) и полноту (какая доля релевантных элементов была выбрана). Как бы вы интерпретировали эти результаты с точки зрения качества модели?

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматривается глубокое обучение для работы с текстом и его практические применения. Вы научитесь использовать PyTorch для обработки текста и получите практический опыт работы с такими техниками, как токенизация, стемминг, удаление стоп-слов и другими. Вы поймёте, почему важно кодировать текстовые данные, и реализуете техники кодирования с помощью PyTorch. В завершение вы закрепите полученные знания, построив конвейер обработки текста, объединяющий все изученные техники.

Exercise 1: Введение в предобработку текста Exercise 2: Анализ частоты слов Exercise 3: Предобработка текста Exercise 4: Кодирование текстовых данных Exercise 5: Унитарное кодирование названий книг Exercise 6: Метод «мешка слов» для названий книг Exercise 7: Применение TF-IDF к описаниям книг Exercise 8: Введение в построение конвейера обработки текста Exercise 9: Конвейер предобработки текстов Шекспира Exercise 10: Кодировщик шекспировского языка

Изучите классификацию текста и её роль в обработке естественного языка (NLP). Примените полученные знания на практике: реализуйте векторные представления слов, а также постройте свёрточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN) для классификации текста с помощью PyTorch. Вы также узнаете, как оценивать качество моделей с помощью подходящих метрик.

Exercise 1: Обзор классификации текстов Exercise 2: Эмбеддинг в PyTorch Exercise 3: Классификация задач текстовой классификации Exercise 4: Сверточные нейронные сети для классификации текста Exercise 5: Построение модели CNN для текста Exercise 6: Обучение модели CNN для классификации текста Exercise 7: Тестирование CNN-модели анализа тональности текста Exercise 8: Рекуррентные нейронные сети для классификации текста Exercise 9: Построение модели RNN для работы с текстом Exercise 10: Построение модели LSTM для текста Exercise 11: Создание модели GRU для работы с текстом Exercise 12: Метрики оценки для классификации текста Exercise 13: Оценка моделей классификации на основе RNN Exercise 14: Оценка производительности модели Exercise 15: Сравнение моделей

Откройте для себя увлекательный мир генерации текста и его применений в NLP. Вы узнаете, как использовать рекуррентные нейронные сети (RNN), генеративно-состязательные сети (GAN) и предобученные модели для задач генерации текста на PyTorch. Помимо этого, вы научитесь оценивать производительность своих моделей с помощью соответствующих метрик.

Exercise 1: Введение в генерацию текста Exercise 2: Создание модели RNN для генерации текста Exercise 3: Генерация текста с помощью RNN — обучение и генерация Exercise 4: Генеративно-состязательные сети для генерации текста Exercise 5: Создание генератора и дискриминатора Exercise 6: Обучение модели GAN Exercise 7: Предобученные модели для генерации текста Exercise 8: Дополнение текста с помощью предобученных моделей GPT-2 Exercise 9: Перевод текста с помощью предобученной модели PyTorch Exercise 10: Метрики оценки качества генерации текста Exercise 11: Оценка предобученной модели генерации текста Exercise 12: Понимание метрик генерации текста

Текущее упражнение

Разберитесь в концепции трансферного обучения и его применении в классификации текста. Познакомьтесь с трансформерами, их архитектурой и тем, как использовать их для задач классификации и генерации текста. Вы также изучите механизмы внимания и их роль в обработке текста. В завершение вы поймёте, какие последствия могут иметь состязательные атаки на модели классификации текста, и научитесь защищать свои модели.

Exercise 1: Трансферное обучение для классификации текста Exercise 2: Трансферное обучение с помощью BERT Exercise 3: Оценка модели BERT Exercise 4: Трансформеры для обработки текста Exercise 5: Создание модели трансформера Exercise 6: Обучение и тестирование модели Transformer Exercise 7: Механизмы внимания для обработки текста Exercise 8: Создание модели RNN с механизмом внимания Exercise 9: Обучение и тестирование модели RNN с механизмом внимания Exercise 10: Состязательные атаки на модели классификации текста Exercise 11: Классификация состязательных атак Exercise 12: Защита ИИ в PyBooks Exercise 13: Подведение итогов