Training von Multi-Output-Modellen

Beim Training von Modellen mit mehreren Outputs ist es entscheidend, dass die Verlustfunktion korrekt definiert ist.

In diesem Fall erzeugt das Modell zwei Outputs: Vorhersagen für das Alphabet und das Zeichen. Für jeden dieser Outputs gibt es entsprechende Ground-Truth-Labels, mit denen du zwei separate Verluste berechnen kannst: einen für falsche Alphabetklassifizierungen und einen für falsche Zeichenklassifizierungen. Da es sich in beiden Fällen um eine Multi-Label-Klassifizierungsaufgabe handelt, kann jeweils die Cross-Entropy-Verlustfunktion angewendet werden.

Der Gradientenabstieg kann jedoch nur eine Verlustfunktion optimieren. Du wirst daher den Gesamtverlust als Summe der Alphabet- und Zeichenverluste definieren.

Diese Übung ist Teil des Kurses

Deep Learning mit PyTorch für Fortgeschrittene

Anleitung zur Übung

Berechne den Alphabetklassifizierungsverlust und weise ihn loss_alpha zu.
Berechne den Zeichenklassifizierungsverlust und weise ihn loss_char zu.
Berechne den Gesamtverlust als Summe der beiden Teilverluste und weise ihn loss zu.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.05)

for epoch in range(1):
    for images, labels_alpha, labels_char in dataloader_train:
        optimizer.zero_grad()
        outputs_alpha, outputs_char = net(images)
        # Compute alphabet classification loss
        loss_alpha = ____
        # Compute character classification loss
        loss_char = ____
        # Compute total loss
        loss = ____
        loss.backward()
        optimizer.step()

Bearbeiten und Ausführen von Code

Diese Übung ist Teil des Kurses

Deep Learning mit PyTorch für Fortgeschrittene

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Lerne, wie du neuronale Netze auf robuste Weise trainierst. In diesem Kapitel wirst du objektorientierte Programmierung verwenden, um PyTorch-Datensätze und -Modelle zu definieren und dein Wissen über das Training und die Auswertung neuronaler Netze aufzufrischen. Du wirst außerdem verschiedene Optimierer kennenlernen und dich schließlich mit verschiedenen Techniken vertraut machen, die dabei helfen, die beim Training neuronaler Netze so häufig auftretenden Probleme instabiler Gradienten zu minimieren.

Exercise 1: PyTorch und objektorientierte Programmierung Exercise 2: PyTorch-Dataset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch-Modell Exercise 5: Optimierer, Training und Bewertung Exercise 6: Trainingsschleife Exercise 7: Optimizer Exercise 8: Modellevaluierung Exercise 9: Verschwindende und explodierende Gradienten Exercise 10: Initialisierung und Aktivierung Exercise 11: Aktivierungen: ReLU vs. ELU Exercise 12: Batch-Normalisierung

Trainiere neuronale Netze zur Lösung von Bildklassifizierungsaufgaben. In diesem Kapitel lernst du, wie du Bilddaten in PyTorch verarbeitest und machst dich mit Convolutional Neural Networks (CNNs) vertraut. Du übst das Training und die Auswertung eines Bildklassifikators und lernst dabei, wie du die Modellleistung durch Data Augmentation verbessern kannst.

Exercise 1: Bildverarbeitung mit PyTorch Exercise 2: Bilddatensatz Exercise 3: Data Augmentation Exercise 4: Data Augmentation in PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: Die Faltungsschicht Exercise 7: Aufbau von Convolutional Networks Exercise 8: Training von Bildklassifikatoren Exercise 9: Augmentierungen auswählen Exercise 10: Datensatz mit Augmentierungen Exercise 11: Trainingsschleife für Bildklassifikator Exercise 12: Bewertung von Bildklassifikatoren Exercise 13: Evaluierung von Multi-Klassen-Modellen Exercise 14: Analyse der Metriken pro Klasse

Erstelle und trainiere rekurrente neuronale Netze (RNNs) zur Verarbeitung sequenzieller Daten wie Zeitreihen, Text oder Audio. Du lernst die zwei beliebtesten rekurrenten Architekturen kennen: Long-Short Term Memory (LSTM) und Gated Recurrent Unit (GRU), sowie die Vorbereitung sequenzieller Daten für das Modelltraining. Du wirst deine Fähigkeiten üben, indem du ein rekurrentes Modell für die Vorhersage des Stromverbrauchs trainierst und auswertest.

Exercise 1: Sequenzverarbeitung mit PyTorch Exercise 2: Sequenzen generieren Exercise 3: Sequentielles Dataset Exercise 4: Rekurrente neuronale Netze Exercise 5: Sequenzielle Architekturen Exercise 6: Ein Vorhersagemodell mit RNN erstellen Exercise 7: LSTM- und GRU-Zellen Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM-Netz Exercise 10: GRU-Netz Exercise 11: Training und Auswertung von RNNs Exercise 12: RNN-Trainingsschleife Exercise 13: Prognosemodelle evaluieren

Entwickle Multi-Input- und Multi-Output-Modelle und lerne, wie sie Aufgaben bewältigen können, die mehr als einen Input benötigen oder mehrere Outputs generieren. Du wirst lernen, wie du diese Modelle mit PyTorch entwickelst und trainierst, und dich mit dem wichtigen Thema der Verlustgewichtung in Multi-Output-Modellen beschäftigen. Dabei geht es darum zu verstehen, wie man die Bedeutung verschiedener Aufgaben ausbalanciert, wenn ein Modell mehrere Aufgaben gleichzeitig ausführen soll.

Exercise 1: Multi-Input-Modelle Exercise 2: Datensatz mit zwei Inputs Exercise 3: Modell mit zwei Inputs Exercise 4: Training eines Modells mit zwei Inputs Exercise 5: Multi-Output-Modelle Exercise 6: Dataset und DataLoader mit zwei Outputs Exercise 7: Modellarchitektur mit zwei Outputs Exercise 8: Training von Multi-Output-Modellen

Aktuelle Übung

Exercise 9: Bewertung von Multi-Output-Modellen und Gewichtung der Verlustfunktion Exercise 10: Evaluierung von Multi-Output-Modellen Exercise 11: Verlustgewichtung Exercise 12: Zusammenfassung