1. Nauka
    2. /
  2. Kursy
    3. /
  3. Głębokie uczenie z PyTorch – poziom średnio zaawansowany
Connected

ćwiczenie

Normalizacja wsadowa

Jako ostatnie usprawnienie architektury modelu dodajmy warstwę normalizacji wsadowej po każdej z dwóch warstw liniowych. Technika normalizacji wsadowej przyspiesza zbieżność treningu i chroni model przed problemami zanikających oraz eksplodujących gradientów.

Zarówno torch.nn, jak i torch.nn.init zostały już zaimportowane odpowiednio jako nn i init. Po wprowadzeniu zmian w architekturze modelu przygotuj się na krótkie pytanie dotyczące działania normalizacji wsadowej!

Instrukcje 1/3

undefined XP
    1
    2
    3
  • Dodaj dwie warstwy BatchNorm1d, przypisując je do self.bn1 i self.bn2.