Ячейки GRU лучше, чем SimpleRNN

В этом упражнении вы повторно запустите ту же модель, что и в первой главе курса, чтобы сравнить точность: для этого достаточно заменить ячейку SimpleRNN на GRU.

Модель уже обучена в течение 10 эпох — как и предыдущая модель с ячейкой SimpleRNN. Для сравнения моделей в окружении уже загружены тестовая выборка (x_test, y_test) и старая модель SimpleRNN_model.

Это упражнение является частью курса

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Посмотреть курс

Инструкции к упражнению

Импортируйте ячейку GRU.
Выведите сводки обеих моделей.
Выведите точность каждой модели.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the modules
from tensorflow.keras.layers import ____, Dense

# Print the old and new model summaries
SimpleRNN_model.____
gru_model.____

# Evaluate the models' performance (ignore the loss value)
_, acc_simpleRNN = SimpleRNN_model.evaluate(X_test, y_test, verbose=0)
_, acc_GRU = gru_model.evaluate(X_test, y_test, verbose=0)

# Print the results
print("SimpleRNN model's accuracy:\t{0}".format(____))
print("GRU model's accuracy:\t{0}".format(____))

Редактировать и запускать код

Это упражнение является частью курса

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы изучите основы рекуррентных нейронных сетей (RNN). Вы начнёте с предварительных сведений, затем разберёте, как информация передаётся через сеть, и наконец реализуете подобные модели с помощью Keras для задачи классификации тональности текста.

Exercise 1: Введение в курс Exercise 2: Сравнение количества параметров RNN и ANN Exercise 3: Анализ тональности Exercise 4: Модели «последовательность в последовательность»Exercise 5: Введение в языковые модели Exercise 6: Знакомство с текстовыми данными Exercise 7: Подготовка текстовых данных для подачи в модель Exercise 8: Преобразование нового текста Exercise 9: Введение в RNN в Keras Exercise 10: Модели Keras Exercise 11: Предобработка данных в Keras Exercise 12: Ваша первая модель RNN

Вы познакомитесь с проблемами затухающего и взрывного градиентов, которые часто возникают в RNN, а также с тем, как с ними справляются ячейки GRU и LSTM. Кроме того, вы создадите слои эмбеддингов для языковых моделей и вернётесь к задаче классификации тональности текста.

Exercise 1: Затухающие и взрывные градиенты Exercise 2: Проблема взрывного градиента Exercise 3: Проблема затухающих градиентов Exercise 4: Ячейки GRU и LSTM Exercise 5: Ячейки GRU лучше, чем SimpleRNN

Текущее упражнение

Exercise 6: Стекирование слоёв RNN Exercise 7: Слой Embedding Exercise 8: Сравнение количества параметров Exercise 9: Трансферное обучение Exercise 10: Эмбеддинги повышают качество модели Exercise 11: Классификация тональности: возвращение к теме Exercise 12: Улучшенная классификация тональности Exercise 13: Использование слоя CNN

В этой главе вы научитесь подготавливать данные для задачи многоклассовой классификации, а также разберёте различия между многоклассовой классификацией и бинарной (анализом тональности). В завершение вы создадите модели с помощью Keras и оцените их качество.

Exercise 1: Предобработка данных Exercise 2: Подготовка векторов меток Exercise 3: Предобработка данных Exercise 4: Трансферное обучение для языковых моделей Exercise 5: Начальная точка при трансферном обучении Exercise 6: Word2Vec Exercise 7: Модели многоклассовой классификации Exercise 8: Изучение набора данных 20 News Groups Exercise 9: Классификация новостных статей Exercise 10: Оценка качества модели Exercise 11: Компромисс между точностью и полнотой Exercise 12: Точность или полнота — вот в чём вопрос Exercise 13: Оценка качества многоклассовой классификации

В этой главе рассматриваются два практических применения RNN-моделей: генерация текста и нейронный машинный перевод. Вы научитесь подготавливать текстовые данные в формат, необходимый для работы моделей. Модель генерации текста используется для воспроизведения манеры речи персонажа — вы с интересом попробуете имитировать стиль Шелдона из «Теории большого взрыва». Нейронный машинный перевод лежит в основе таких сервисов, как Google Translate, где применяются значительно более сложные модели. В этой главе вы создадите модель, которая переводит короткие фразы с португальского на английский.

Exercise 1: Модели «последовательность в последовательность»Exercise 2: Примеры генерации текста Exercise 3: Пример нейронного машинного перевода Exercise 4: Функция генерации текста Exercise 5: Предсказание следующего символа Exercise 6: Генерация предложения с контекстом Exercise 7: Изменение масштаба вероятностного распределения Exercise 8: Модели генерации текста Exercise 9: Создание векторов предложений и следующих символов Exercise 10: Подготовка данных для обучения Exercise 11: Создание модели генерации текста Exercise 12: Нейронный машинный перевод Exercise 13: Подготовка входного текста Exercise 14: Подготовка выходного текста Exercise 15: Перевод с португальского на английский Exercise 16: Поздравляем!