Inițializare și activare

Gradienții instabili (care dispar sau explodează) reprezintă o provocare frecventă în antrenarea rețelelor neuronale profunde. În acest exercițiu și în cel următor, vei extinde arhitectura modelului construit pentru sarcina de clasificare a potabilității apei, pentru a-l face mai rezistent la aceste probleme.

Ca prim pas, vei îmbunătăți inițializarea ponderilor folosind strategia de inițializare He (Kaiming). Pentru aceasta, va trebui să apelezi inițializatorul corespunzător din modulul torch.nn.init, care a fost importat ca init. Apoi, vei actualiza funcțiile de activare, înlocuind ReLU implicit cu ELU, adesea mai performant.

Aplică inițializatorul He (Kaiming) pe atributul weight al celui de-al doilea strat, fc2, similar cu modul în care este aplicat pentru fc1.
Aplică inițializatorul He (Kaiming) pe atributul weight al celui de-al treilea strat, fc3, ținând cont de funcția de activare diferită folosită în stratul final.
Actualizează funcțiile de activare din metoda forward(), înlocuind relu cu elu.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}exercițiu

Instrucțiuni

exercițiu