Inizializzazione dei layer
L’inizializzazione dei pesi di una rete neurale è stata al centro dell’attenzione dei ricercatori per molti anni. Durante l’addestramento di una rete, il metodo usato per inizializzare i pesi ha un impatto diretto sulle prestazioni finali della rete.
Come practitioner di Machine Learning, dovresti saper sperimentare diverse strategie di inizializzazione. In questo esercizio creerai una piccola rete neurale composta da due layer e deciderai di inizializzare i pesi di ciascun layer con il metodo uniforme.
Questo esercizio fa parte del corso
Introduzione al Deep Learning con PyTorch
Istruzioni dell'esercizio
- Per ciascun layer (
layer0elayer1), usa il metodo di inizializzazione uniforme per inizializzare i pesi.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)