Inicjalizacja warstw
Inicjalizacja wag sieci neuronowej to temat, któremu badacze poświęcają uwagę od wielu lat. Podczas trenowania sieci wybrany sposób inicjalizacji wag ma bezpośredni wpływ na końcową jakość modelu.
Jako praktyk uczenia maszynowego powinieneś umieć eksperymentować z różnymi strategiami inicjalizacji. W tym ćwiczeniu tworzysz małą sieć neuronową złożoną z dwóch warstw i inicjalizujesz wagi każdej z nich metodą jednostajną (uniform).
To ćwiczenie jest częścią kursu
Wprowadzenie do uczenia głębokiego z PyTorch
Instrukcje do ćwiczenia
- Dla każdej warstwy (
layer0ilayer1) użyj metody inicjalizacji jednostajnej (uniform) do zainicjalizowania wag.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)