Initiering av lager
Initialiseringen av vikterna i ett neuralt nätverk har länge varit ett aktivt forskningsområde. När ett nätverk tränas påverkar initieringsmetoden direkt nätverkets slutliga prestanda.
Som maskininlärningspraktiker bör du kunna experimentera med olika initieringsstrategier. I den här övningen skapar du ett litet neuralt nätverk med två lager och väljer att initiera varje lagers vikter med den uniforma metoden.
Den här övningen är en del av kursen
Introduktion till djupinlärning med PyTorch
Övningsinstruktioner
- Använd den uniforma initieringsmetoden för att initiera vikterna i varje lager (
layer0ochlayer1).
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)