Унитарное кодирование названий книг

Компания PyBooks хочет каталогизировать и проанализировать жанры книг в своей библиотеке. Примените унитарное кодирование (one-hot encoding) к списку жанров, чтобы сделать их пригодными для машинной обработки.

Библиотека torch уже импортирована.

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

Посмотреть курс

Инструкции к упражнению

Определите размер словаря и сохраните его в переменную vocab_size.
Создайте унитарные векторы (one-hot vectors), используя подходящий метод torch и значение vocab_size.
Создайте словарь, отображающий жанры на соответствующие им унитарные векторы, с помощью генератора словаря; ключами словаря должны быть названия жанров.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

genres = ['Fiction','Non-fiction','Biography', 'Children','Mystery']

# Define the size of the vocabulary
vocab_size = ____(____)

# Create one-hot vectors
one_hot_vectors = torch.____(____)

# Create a dictionary mapping genres to their one-hot vectors
one_hot_dict = {____: ____[i] for i, genre in enumerate(genres)}

for genre, vector in one_hot_dict.items():
    print(f'{genre}: {vector.numpy()}')

Редактировать и запускать код

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе рассматривается глубокое обучение для работы с текстом и его практические применения. Вы научитесь использовать PyTorch для обработки текста и получите практический опыт работы с такими техниками, как токенизация, стемминг, удаление стоп-слов и другими. Вы поймёте, почему важно кодировать текстовые данные, и реализуете техники кодирования с помощью PyTorch. В завершение вы закрепите полученные знания, построив конвейер обработки текста, объединяющий все изученные техники.

Exercise 1: Введение в предобработку текста Exercise 2: Анализ частоты слов Exercise 3: Предобработка текста Exercise 4: Кодирование текстовых данных Exercise 5: Унитарное кодирование названий книг

Текущее упражнение

Exercise 6: Метод «мешка слов» для названий книг Exercise 7: Применение TF-IDF к описаниям книг Exercise 8: Введение в построение конвейера обработки текста Exercise 9: Конвейер предобработки текстов Шекспира Exercise 10: Кодировщик шекспировского языка

Изучите классификацию текста и её роль в обработке естественного языка (NLP). Примените полученные знания на практике: реализуйте векторные представления слов, а также постройте свёрточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN) для классификации текста с помощью PyTorch. Вы также узнаете, как оценивать качество моделей с помощью подходящих метрик.

Exercise 1: Обзор классификации текстов Exercise 2: Эмбеддинг в PyTorch Exercise 3: Классификация задач текстовой классификации Exercise 4: Сверточные нейронные сети для классификации текста Exercise 5: Построение модели CNN для текста Exercise 6: Обучение модели CNN для классификации текста Exercise 7: Тестирование CNN-модели анализа тональности текста Exercise 8: Рекуррентные нейронные сети для классификации текста Exercise 9: Построение модели RNN для работы с текстом Exercise 10: Построение модели LSTM для текста Exercise 11: Создание модели GRU для работы с текстом Exercise 12: Метрики оценки для классификации текста Exercise 13: Оценка моделей классификации на основе RNN Exercise 14: Оценка производительности модели Exercise 15: Сравнение моделей

Откройте для себя увлекательный мир генерации текста и его применений в NLP. Вы узнаете, как использовать рекуррентные нейронные сети (RNN), генеративно-состязательные сети (GAN) и предобученные модели для задач генерации текста на PyTorch. Помимо этого, вы научитесь оценивать производительность своих моделей с помощью соответствующих метрик.

Exercise 1: Введение в генерацию текста Exercise 2: Создание модели RNN для генерации текста Exercise 3: Генерация текста с помощью RNN — обучение и генерация Exercise 4: Генеративно-состязательные сети для генерации текста Exercise 5: Создание генератора и дискриминатора Exercise 6: Обучение модели GAN Exercise 7: Предобученные модели для генерации текста Exercise 8: Дополнение текста с помощью предобученных моделей GPT-2 Exercise 9: Перевод текста с помощью предобученной модели PyTorch Exercise 10: Метрики оценки качества генерации текста Exercise 11: Оценка предобученной модели генерации текста Exercise 12: Понимание метрик генерации текста

Разберитесь в концепции трансферного обучения и его применении в классификации текста. Познакомьтесь с трансформерами, их архитектурой и тем, как использовать их для задач классификации и генерации текста. Вы также изучите механизмы внимания и их роль в обработке текста. В завершение вы поймёте, какие последствия могут иметь состязательные атаки на модели классификации текста, и научитесь защищать свои модели.

Exercise 1: Трансферное обучение для классификации текста Exercise 2: Трансферное обучение с помощью BERT Exercise 3: Оценка модели BERT Exercise 4: Трансформеры для обработки текста Exercise 5: Создание модели трансформера Exercise 6: Обучение и тестирование модели Transformer Exercise 7: Механизмы внимания для обработки текста Exercise 8: Создание модели RNN с механизмом внимания Exercise 9: Обучение и тестирование модели RNN с механизмом внимания Exercise 10: Состязательные атаки на модели классификации текста Exercise 11: Классификация состязательных атак Exercise 12: Защита ИИ в PyBooks Exercise 13: Подведение итогов