Batch Normalization
Jako poslední vylepšení architektury modelu přidáme vrstvu batch normalization za každou z obou lineárních vrstev. Batch norm trik zpravidla urychluje konvergenci trénování a chrání model před problémy mizejících a explodujících gradientů.
torch.nn i torch.nn.init už jsou naimportované jako nn a init. Až změnu v architektuře modelu implementuješ, připrav se na krátkou otázku o tom, jak batch normalization funguje!
Toto cvičení je součástí kurzu
Intermediate Deep Learning with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
class Net(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(9, 16)
# Add two batch normalization layers
____ = ____
self.fc2 = nn.Linear(16, 8)
____ = ____
self.fc3 = nn.Linear(8, 1)
init.kaiming_uniform_(self.fc1.weight)
init.kaiming_uniform_(self.fc2.weight)
init.kaiming_uniform_(self.fc3.weight, nonlinearity="sigmoid")