Antrenarea modelelor cu ieșiri multiple

Când antrenezi modele cu ieșiri multiple, este esențial să te asiguri că funcția de pierdere este definită corect.

În acest caz, modelul produce două ieșiri: predicții pentru alfabet și pentru caracter. Pentru fiecare dintre acestea există etichete de referință corespunzătoare, care îți permit să calculezi două pierderi separate: una rezultată din clasificările incorecte ale alfabetului și cealaltă din clasificările incorecte ale caracterului. Deoarece în ambele cazuri ai de-a face cu o sarcină de clasificare multi-clasă, poți aplica de fiecare dată pierderea Cross-Entropy.

Totuși, coborârea pe gradient poate optimiza o singură funcție de pierdere. Prin urmare, vei defini pierderea totală ca sumă a pierderilor pentru alfabet și pentru caracter.

Acest exercițiu face parte din cursul

Deep Learning intermediar cu PyTorch

Instrucțiuni pentru exercițiu

Calculează pierderea de clasificare pentru alfabet și atribuie-o variabilei loss_alpha.
Calculează pierderea de clasificare pentru caracter și atribuie-o variabilei loss_char.
Calculează pierderea totală ca sumă a celor două pierderi parțiale și atribuie-o variabilei loss.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.05)

for epoch in range(1):
    for images, labels_alpha, labels_char in dataloader_train:
        optimizer.zero_grad()
        outputs_alpha, outputs_char = net(images)
        # Compute alphabet classification loss
        loss_alpha = ____
        # Compute character classification loss
        loss_char = ____
        # Compute total loss
        loss = ____
        loss.backward()
        optimizer.step()

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Learning intermediar cu PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Învață cum să antrenezi rețele neuronale într-un mod robust. În acest capitol, vei folosi programarea orientată pe obiecte pentru a defini seturi de date și modele PyTorch și îți vei consolida cunoștințele despre antrenarea și evaluarea rețelelor neuronale. Te vei familiariza, de asemenea, cu diferiți optimizatori și vei descoperi diverse tehnici care ajută la atenuarea problemelor gradienților instabili, atât de frecvente în antrenarea rețelelor neuronale.

Exercise 1: PyTorch și programarea orientată pe obiecte Exercise 2: Set de date PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Model PyTorch Exercise 5: Optimizatori, antrenare și evaluare Exercise 6: Bucla de antrenament Exercise 7: Optimizatori Exercise 8: Evaluarea modelului Exercise 9: Gradienti care dispar și gradienti care explodează Exercise 10: Inițializare și activare Exercise 11: Funcții de activare: ReLU vs. ELU Exercise 12: Normalizarea pe loturi (Batch Normalization)

Antrenează rețele neuronale pentru a rezolva sarcini de clasificare a imaginilor. În acest capitol, vei învăța cum să lucrezi cu date de tip imagine în PyTorch și te vei familiariza cu rețelele neuronale convoluționale (CNN). Vei exersa antrenarea și evaluarea unui clasificator de imagini, explorând totodată cum se poate îmbunătăți performanța modelului prin augmentarea datelor.

Exercise 1: Procesarea imaginilor cu PyTorch Exercise 2: Set de date cu imagini Exercise 3: Augmentarea datelor Exercise 4: Augmentarea datelor în PyTorch Exercise 5: Rețele Neuronale Convoluționale Exercise 6: Stratul convoluțional Exercise 7: Construirea rețelelor convoluționale Exercise 8: Antrenarea clasificatoarelor de imagini Exercise 9: Alegerea augmentărilor Exercise 10: Set de date cu augmentări Exercise 11: Bucla de antrenament a clasificatorului de imagini Exercise 12: Evaluarea clasificatoarelor de imagini Exercise 13: Evaluarea modelului multi-clasă Exercise 14: Analiza metricilor pe clasă

Construiește și antrenează rețele neuronale recurente (RNN) pentru procesarea datelor secvențiale, precum serii de timp, text sau audio. Vei învăța despre cele mai populare două arhitecturi recurente – Long Short-Term Memory (LSTM) și Gated Recurrent Unit (GRU) – precum și cum să pregătești datele secvențiale pentru antrenarea modelului. Îți vei pune în practică abilitățile antrenând și evaluând un model recurent pentru predicția consumului de energie electrică.

Exercise 1: Gestionarea secvențelor cu PyTorch Exercise 2: Generarea secvențelor Exercise 3: Set de date secvențial Exercise 4: Rețele Neuronale Recurente Exercise 5: Arhitecturi secvențiale Exercise 6: Construirea unui RNN de prognoză Exercise 7: Celule LSTM și GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Rețea LSTM Exercise 10: Rețea GRU Exercise 11: Antrenarea și evaluarea RNN-urilor Exercise 12: Bucla de antrenament pentru RNN Exercise 13: Evaluarea modelelor de prognoză

Construiește modele cu intrări și ieșiri multiple, demonstrând cum pot gestiona sarcini care necesită mai multe intrări sau generează mai multe ieșiri. Vei explora cum să proiectezi și să antrenezi aceste modele folosind PyTorch și vei aprofunda subiectul esențial al ponderării funcției de pierdere în modelele cu ieșiri multiple. Aceasta implică înțelegerea modului în care se echilibrează importanța diferitelor sarcini atunci când un model este antrenat să le execute simultan.

Exercise 1: Modele cu intrări multiple Exercise 2: Set de date cu două intrări Exercise 3: Model cu două intrări Exercise 4: Antrenarea modelului cu două intrări Exercise 5: Modele cu ieșiri multiple Exercise 6: Set de date și DataLoader cu două ieșiri Exercise 7: Arhitectura unui model cu două ieșiri Exercise 8: Antrenarea modelelor cu ieșiri multiple

Exercițiul curent

Exercise 9: Evaluarea modelelor multi-output și ponderarea pierderii Exercise 10: Evaluarea modelului multi-output Exercise 11: Ponderarea pierderii Exercise 12: Rezumat