Inicializace a aktivační funkce

Nestabilní gradienty – ať už mizející, nebo explodující – jsou jednou z častých překážek při trénování hlubokých neuronových sítí. V tomto a v následujícím cvičení rozšíříš architekturu modelu, který jsi sestavil/a pro klasifikaci pitnosti vody, aby byl vůči těmto problémům odolnější.

Prvním krokem je vylepšení inicializace vah pomocí He (Kaimingovy) inicializační strategie. K tomu zavoláš příslušnou inicializační funkci z modulu torch.nn.init, který je pro tebe importován jako init. Následně aktualizuješ aktivační funkce – místo výchozího ReLU použiješ často výkonnější ELU.

Zavolej He (Kaimingův) inicializátor na atribut weight druhé vrstvy, fc2, stejným způsobem jako u fc1.
Zavolej He (Kaimingův) inicializátor na atribut weight třetí vrstvy, fc3, a přitom zohledni jinou aktivační funkci použitou v poslední vrstvě.
V metodě forward() nahraď aktivační funkce relu za elu.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení