Дослідження набору даних 20 News Groups

У цій вправі ви отримаєте зразок набору даних 20 News Groups, завантажений за допомогою функції fetch_20newsgroups() з sklearn.datasets, відфільтрований лише за трьома класами: sci.space, alt.atheism і soc.religion.christian.

Набір даних збережено у змінній news_dataset. Його атрибути виведено, щоб ви могли дослідити їх у консолі.

Докладніше про використання цієї функції дивіться в документації Sklearn.

Ви поетапно токенізуєте тексти та виконаєте one-hot кодування міток, щоб зрозуміти, як відбуваються перетворення.

Ця вправа є частиною курсу

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# See example article
print(news_dataset.____[5])

Редагувати та запускати код

Ця вправа є частиною курсу

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви вивчите основи рекурентних нейронних мереж (RNN). Почнемо з передумов, далі розберемося, як інформація проходить крізь мережу, а наприкінці побачимо, як реалізувати такі моделі в Keras для задачі класифікації тональності.

Exercise 1: Вступ до курсу Exercise 2: Порівняння кількості параметрів RNN і ANN Exercise 3: Аналіз сентименту Exercise 4: Моделі sequence-to-sequence Exercise 5: Вступ до мовних моделей Exercise 6: Звикаємо до текстових даних Exercise 7: Підготовка текстових даних для подання в модель Exercise 8: Перетворення нового тексту Exercise 9: Вступ до RNN у Keras Exercise 10: Моделі Keras Exercise 11: Попередня обробка в Keras Exercise 12: Ваша перша модель RNN

Ви дізнаєтеся про проблеми зникних і вибухових градієнтів, що часто трапляються в RNN, і як розв'язувати їх за допомогою осередків GRU та LSTM. Крім того, ви створите шари embedding для мовних моделей і ще раз повернетеся до задачі класифікації тональності.

Exercise 1: Зникання та вибух градієнтів Exercise 2: Проблема вибуху градієнта Exercise 3: Проблема зникання градієнта Exercise 4: Комірки GRU та LSTM Exercise 5: Комірки GRU кращі за SimpleRNN Exercise 6: Стекування шарів RNN Exercise 7: Шар Embedding (вкладення)Exercise 8: Порівняння кількості параметрів Exercise 9: Transfer learning Exercise 10: Embeddings підвищують продуктивність Exercise 11: Повертаємось до класифікації тональності Exercise 12: Краща класифікація тональності Exercise 13: Використання шару CNN

Далі, у цьому розділі ви навчитеся готувати дані для задачі багатокласової класифікації, а також зрозумієте різницю між багатокласовою та бінарною класифікацією (аналіз тональності). Насамкінець ви створите моделі в Keras і навчитеся оцінювати їхню якість.

Exercise 1: Попередня обробка даних Exercise 2: Підготуйте вектори міток Exercise 3: Попередня обробка даних Exercise 4: Transfer learning для мовних моделей Exercise 5: Стартова точка transfer learning Exercise 6: Word2Vec Exercise 7: Моделі багатокласової класифікації Exercise 8: Дослідження набору даних 20 News Groups

Поточна вправа

Exercise 9: Класифікація новинних статей Exercise 10: Оцінювання ефективності моделі Exercise 11: Компроміс Precision–Recall Exercise 12: Точність чи повнота — ось у чому питання Exercise 13: Оцінювання багатокласової класифікації

Цей розділ знайомить вас із двома застосунками моделей RNN: генерацією тексту та нейронним машинним перекладом. Ви навчитеся готувати текстові дані до формату, потрібного моделям. Модель генерації тексту використовується для відтворення манери мовлення персонажа, і ми трохи розважимося, наслідуючи Шелдона з «Теорії Великого вибуху». Нейронний машинний переклад, наприклад, застосовує Google Translate у значно складнішій моделі. У цьому розділі ви створите модель, що перекладає короткі португальські фрази англійською.

Exercise 1: Sequence-to-Sequence моделі Exercise 2: Приклади генерації тексту Exercise 3: Приклад NMT Exercise 4: Функція генерування тексту Exercise 5: Передбачення наступного символу Exercise 6: Генеруємо речення з контекстом Exercise 7: Змініть шкалу ймовірності Exercise 8: Моделі генерації тексту Exercise 9: Створіть вектори речень і наступних символів Exercise 10: Підготовка даних для тренування Exercise 11: Створення моделі генерування тексту Exercise 12: Нейронний машинний переклад Exercise 13: Підготовка вхідного тексту Exercise 14: Підготовка вихідного тексту Exercise 15: Перекладіть португальську англійською Exercise 16: Вітаємо!