Активації: ReLU vs. ELU

Вибір функцій активації у моделі (разом із відповідною ініціалізацією ваг) може суттєво впливати на процес навчання. Зокрема, вдала активація допомагає уникнути проблем із нестабільними градієнтами.

У попередній вправі ви перейшли з ReLU на ELU. Пам'ятаєте, які відмінності між цими активаціями виправдовують таку зміну?

Ця вправа є частиною курсу

Середній рівень Deep Learning з PyTorch

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Середній рівень Deep Learning з PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Почніть курс безкоштовно

Дізнайтеся, як навчати нейронні мережі надійно. У цьому розділі ви використаєте об'єктно-орієнтоване програмування, щоб визначати набори даних і моделі в PyTorch, та освіжите знання про тренування й оцінювання нейронних мереж. Ви також ознайомитеся з різними оптимізаторами й, нарешті, опanuєте техніки, що допомагають зменшити проблеми нестабільних градієнтів, які так поширені під час навчання нейромереж.

Exercise 1: PyTorch і об'єктно-орієнтоване програмування Exercise 2: Набір даних PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Модель PyTorch Exercise 5: Оптимізатори, навчання та оцінювання Exercise 6: Цикл навчання Exercise 7: Оптимізатори Exercise 8: Оцінювання моделі Exercise 9: Зникні та вибухові градієнти Exercise 10: Ініціалізація та активації Exercise 11: Активації: ReLU vs. ELU

Поточна вправа

Exercise 12: Пакетна нормалізація (Batch Normalization)

Навчайте нейронні мережі розв'язувати задачі класифікації зображень. У цьому розділі ви дізнаєтеся, як працювати з даними-зображеннями в PyTorch та опanuєте згорткові нейронні мережі (CNN). Ви потренуєтеся навчати й оцінювати класифікатор зображень і дізнаєтеся, як покращити якість моделі за допомогою аугментації даних.

Exercise 1: Робота з зображеннями в PyTorch Exercise 2: Набір зображень Exercise 3: Аугментація даних Exercise 4: Аугментація даних у PyTorch Exercise 5: Convolutional Neural Networks (CNNs)Exercise 6: Згортковий шар Exercise 7: Побудова згорткових мереж Exercise 8: Навчання класифікаторів зображень Exercise 9: Вибір аугментацій Exercise 10: Набір даних із аугментаціями Exercise 11: Цикл навчання класифікатора зображень Exercise 12: Оцінювання класифікаторів зображень Exercise 13: Оцінювання багатокласової моделі Exercise 14: Аналіз метрик для кожного класу

Створюйте та навчайте рекурентні нейронні мережі (RNN) для оброблення послідовних даних, зокрема часових рядів, тексту чи аудіо. Ви ознайомитеся з двома найпопулярнішими рекурентними архітектурами — Long Short-Term Memory (LSTM) і Gated Recurrent Unit (GRU) — а також з тим, як готувати послідовні дані до навчання моделі. Ви закріпите навички, навчаючи й оцінюючи рекурентну модель для прогнозування споживання електроенергії.

Exercise 1: Робота з послідовностями в PyTorch Exercise 2: Генерування послідовностей Exercise 3: Послідовні дані (Sequential Dataset)Exercise 4: Recurrent Neural Networks Exercise 5: Послідовні архітектури Exercise 6: Створення прогностичної RNN Exercise 7: Комірки LSTM і GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Мережа LSTM Exercise 10: Мережа GRU Exercise 11: Тренування та оцінювання RNN Exercise 12: Цикл тренування RNN Exercise 13: Оцінювання моделей прогнозування

Створюйте моделі з кількома входами та кількома виходами, щоб показати, як вони розв'язують задачі з кількома вхідними даними або з генеруванням кількох виходів. Ви вивчите, як проєктувати й навчати такі моделі в PyTorch, і зануритеся в ключову тему зважування функцій втрат у багатовихідних моделях. Це передбачає розуміння того, як збалансовувати важливість різних завдань, коли модель навчається виконувати кілька завдань одночасно.

Exercise 1: Багатовхідні моделі Exercise 2: Набір даних з двома входами Exercise 3: Модель із двома входами Exercise 4: Навчання моделі з двома входами Exercise 5: Багатовихідні моделі Exercise 6: Набір даних і DataLoader з двома виходами Exercise 7: Архітектура моделі з двома виходами Exercise 8: Навчання моделей із кількома виходами Exercise 9: Оцінювання багатовихідних моделей та зважування функцій втрат Exercise 10: Оцінювання багатовихідної моделі Exercise 11: Зважування функцій втрат Exercise 12: Підсумок