Funcții de activare: ReLU vs. ELU

Alegerea funcțiilor de activare folosite în model (combinată cu inițializarea corespunzătoare a ponderilor) poate avea un impact semnificativ asupra procesului de antrenament. În special, o funcție de activare potrivită poate preveni problemele de gradienți instabili în rețea.

În exercițiul anterior, ai trecut de la activările ReLU la cele ELU. Îți amintești ce caracteristici ale celor două funcții de activare justifică această schimbare?

Acest exercițiu face parte din cursul

Deep Learning intermediar cu PyTorch

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Deep Learning intermediar cu PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2166 reviews

Începe cursul gratuit

Învață cum să antrenezi rețele neuronale într-un mod robust. În acest capitol, vei folosi programarea orientată pe obiecte pentru a defini seturi de date și modele PyTorch și îți vei consolida cunoștințele despre antrenarea și evaluarea rețelelor neuronale. Te vei familiariza, de asemenea, cu diferiți optimizatori și vei descoperi diverse tehnici care ajută la atenuarea problemelor gradienților instabili, atât de frecvente în antrenarea rețelelor neuronale.

Exercise 1: PyTorch și programarea orientată pe obiecte Exercise 2: Set de date PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Model PyTorch Exercise 5: Optimizatori, antrenare și evaluare Exercise 6: Bucla de antrenament Exercise 7: Optimizatori Exercise 8: Evaluarea modelului Exercise 9: Gradienti care dispar și gradienti care explodează Exercise 10: Inițializare și activare Exercise 11: Funcții de activare: ReLU vs. ELU

Exercițiul curent

Exercise 12: Normalizarea pe loturi (Batch Normalization)

Antrenează rețele neuronale pentru a rezolva sarcini de clasificare a imaginilor. În acest capitol, vei învăța cum să lucrezi cu date de tip imagine în PyTorch și te vei familiariza cu rețelele neuronale convoluționale (CNN). Vei exersa antrenarea și evaluarea unui clasificator de imagini, explorând totodată cum se poate îmbunătăți performanța modelului prin augmentarea datelor.

Exercise 1: Procesarea imaginilor cu PyTorch Exercise 2: Set de date cu imagini Exercise 3: Augmentarea datelor Exercise 4: Augmentarea datelor în PyTorch Exercise 5: Rețele Neuronale Convoluționale Exercise 6: Stratul convoluțional Exercise 7: Construirea rețelelor convoluționale Exercise 8: Antrenarea clasificatoarelor de imagini Exercise 9: Alegerea augmentărilor Exercise 10: Set de date cu augmentări Exercise 11: Bucla de antrenament a clasificatorului de imagini Exercise 12: Evaluarea clasificatoarelor de imagini Exercise 13: Evaluarea modelului multi-clasă Exercise 14: Analiza metricilor pe clasă

Construiește și antrenează rețele neuronale recurente (RNN) pentru procesarea datelor secvențiale, precum serii de timp, text sau audio. Vei învăța despre cele mai populare două arhitecturi recurente – Long Short-Term Memory (LSTM) și Gated Recurrent Unit (GRU) – precum și cum să pregătești datele secvențiale pentru antrenarea modelului. Îți vei pune în practică abilitățile antrenând și evaluând un model recurent pentru predicția consumului de energie electrică.

Exercise 1: Gestionarea secvențelor cu PyTorch Exercise 2: Generarea secvențelor Exercise 3: Set de date secvențial Exercise 4: Rețele Neuronale Recurente Exercise 5: Arhitecturi secvențiale Exercise 6: Construirea unui RNN de prognoză Exercise 7: Celule LSTM și GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Rețea LSTM Exercise 10: Rețea GRU Exercise 11: Antrenarea și evaluarea RNN-urilor Exercise 12: Bucla de antrenament pentru RNN Exercise 13: Evaluarea modelelor de prognoză

Construiește modele cu intrări și ieșiri multiple, demonstrând cum pot gestiona sarcini care necesită mai multe intrări sau generează mai multe ieșiri. Vei explora cum să proiectezi și să antrenezi aceste modele folosind PyTorch și vei aprofunda subiectul esențial al ponderării funcției de pierdere în modelele cu ieșiri multiple. Aceasta implică înțelegerea modului în care se echilibrează importanța diferitelor sarcini atunci când un model este antrenat să le execute simultan.

Exercise 1: Modele cu intrări multiple Exercise 2: Set de date cu două intrări Exercise 3: Model cu două intrări Exercise 4: Antrenarea modelului cu două intrări Exercise 5: Modele cu ieșiri multiple Exercise 6: Set de date și DataLoader cu două ieșiri Exercise 7: Arhitectura unui model cu două ieșiri Exercise 8: Antrenarea modelelor cu ieșiri multiple Exercise 9: Evaluarea modelelor multi-output și ponderarea pierderii Exercise 10: Evaluarea modelului multi-output Exercise 11: Ponderarea pierderii Exercise 12: Rezumat