1. Nauka
    2. /
  2. Kursy
    3. /
  3. Głębokie uczenie z PyTorch – poziom średnio zaawansowany
Connected

ćwiczenie

Inicjalizacja i aktywacje

Niestabilne gradienty (zanikające lub eksplodujące) to problem, który często pojawia się podczas trenowania głębokich sieci neuronowych. W tym i kolejnym ćwiczeniu rozbudujesz architekturę modelu zbudowanego do zadania klasyfikacji jakości wody, aby zwiększyć jego odporność na te problemy.

W pierwszym kroku ulepszysz inicjalizację wag, stosując strategię inicjalizacji He (Kaiming). W tym celu wywołasz odpowiednią funkcję inicjalizującą z modułu torch.nn.init, który został zaimportowany jako init. Następnie zaktualizujesz funkcje aktywacji – zamienisz domyślną ReLU na często skuteczniejszą ELU.

Instrukcje

100 XP
  • Wywołaj inicjalizator He (Kaiming) na atrybucie wag drugiej warstwy, fc2, analogicznie do tego, jak zostało to zrobione dla fc1.
  • Wywołaj inicjalizator He (Kaiming) na atrybucie wag trzeciej warstwy, fc3, uwzględniając inną funkcję aktywacji użytą w ostatniej warstwie.
  • Zaktualizuj funkcje aktywacji w metodzie forward(), zastępując relu przez elu.