1. 학습
    2. /
  2. 강의
    3. /
  3. Середній рівень Deep Learning з PyTorch
Connected

연습 문제

Ініціалізація та активації

Проблеми нестабільних градієнтів (що зникають або вибухають) часто виникають під час тренування глибоких нейронних мереж. У цій та наступних вправах ви розширите архітектуру моделі, яку збудували для задачі класифікації придатності води до пиття, щоб зробити її стійкішою до цих проблем.

Як перший крок, ви покращите ініціалізацію ваг, використавши стратегію He (Kaiming). Для цього потрібно викликати відповідний ініціалізатор з модуля torch.nn.init, який уже імпортовано для вас як init. Далі ви заміните функції активації з типових ReLU на часто кращі ELU.

지침

100 XP
  • Викличте ініціалізатор He (Kaiming) для атрибута ваг другого шару fc2, так само, як це зроблено для fc1.
  • Викличте ініціалізатор He (Kaiming) для атрибута ваг третього шару fc3, з урахуванням відмінної функції активації у фінальному шарі.
  • Оновіть функції активації у методі forward() з relu на elu.