Aktivierungen: ReLU vs. ELU

Die Wahl der im Modell verwendeten Aktivierungsfunktionen (in Kombination mit der entsprechenden Gewichtsinitialisierung) kann einen starken Einfluss auf den Trainingsprozess haben. Insbesondere kann die richtige Aktivierung verhindern, dass das Netz Probleme mit instabilen Gradienten bekommt.

In der vorherigen Aufgabe hast du von ReLU- zu ELU-Aktivierungen gewechselt. Erinnerst du dich, welche Eigenschaften der beiden Aktivierungen diesen Wechsel rechtfertigen?

Diese Übung ist Teil des Kurses

Deep Learning mit PyTorch für Fortgeschrittene

Kurs anzeigen

Interaktive Übung

In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.

Übung starten

Diese Übung ist Teil des Kurses

Deep Learning mit PyTorch für Fortgeschrittene

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

1123 reviews

Kurs kostenlos starten

Lerne, wie du neuronale Netze auf robuste Weise trainierst. In diesem Kapitel wirst du objektorientierte Programmierung verwenden, um PyTorch-Datensätze und -Modelle zu definieren und dein Wissen über das Training und die Auswertung neuronaler Netze aufzufrischen. Du wirst außerdem verschiedene Optimierer kennenlernen und dich schließlich mit verschiedenen Techniken vertraut machen, die dabei helfen, die beim Training neuronaler Netze so häufig auftretenden Probleme instabiler Gradienten zu minimieren.

Exercise 1: PyTorch und objektorientierte Programmierung Exercise 2: PyTorch-Dataset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch-Modell Exercise 5: Optimierer, Training und Bewertung Exercise 6: Trainingsschleife Exercise 7: Optimizer Exercise 8: Modellevaluierung Exercise 9: Verschwindende und explodierende Gradienten Exercise 10: Initialisierung und Aktivierung Exercise 11: Aktivierungen: ReLU vs. ELU

Aktuelle Übung

Exercise 12: Batch-Normalisierung

Trainiere neuronale Netze zur Lösung von Bildklassifizierungsaufgaben. In diesem Kapitel lernst du, wie du Bilddaten in PyTorch verarbeitest und machst dich mit Convolutional Neural Networks (CNNs) vertraut. Du übst das Training und die Auswertung eines Bildklassifikators und lernst dabei, wie du die Modellleistung durch Data Augmentation verbessern kannst.

Exercise 1: Bildverarbeitung mit PyTorch Exercise 2: Bilddatensatz Exercise 3: Data Augmentation Exercise 4: Data Augmentation in PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: Die Faltungsschicht Exercise 7: Aufbau von Convolutional Networks Exercise 8: Training von Bildklassifikatoren Exercise 9: Augmentierungen auswählen Exercise 10: Datensatz mit Augmentierungen Exercise 11: Trainingsschleife für Bildklassifikator Exercise 12: Bewertung von Bildklassifikatoren Exercise 13: Evaluierung von Multi-Klassen-Modellen Exercise 14: Analyse der Metriken pro Klasse

Erstelle und trainiere rekurrente neuronale Netze (RNNs) zur Verarbeitung sequenzieller Daten wie Zeitreihen, Text oder Audio. Du lernst die zwei beliebtesten rekurrenten Architekturen kennen: Long-Short Term Memory (LSTM) und Gated Recurrent Unit (GRU), sowie die Vorbereitung sequenzieller Daten für das Modelltraining. Du wirst deine Fähigkeiten üben, indem du ein rekurrentes Modell für die Vorhersage des Stromverbrauchs trainierst und auswertest.

Exercise 1: Sequenzverarbeitung mit PyTorch Exercise 2: Sequenzen generieren Exercise 3: Sequentielles Dataset Exercise 4: Rekurrente neuronale Netze Exercise 5: Sequenzielle Architekturen Exercise 6: Ein Vorhersagemodell mit RNN erstellen Exercise 7: LSTM- und GRU-Zellen Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM-Netz Exercise 10: GRU-Netz Exercise 11: Training und Auswertung von RNNs Exercise 12: RNN-Trainingsschleife Exercise 13: Prognosemodelle evaluieren

Entwickle Multi-Input- und Multi-Output-Modelle und lerne, wie sie Aufgaben bewältigen können, die mehr als einen Input benötigen oder mehrere Outputs generieren. Du wirst lernen, wie du diese Modelle mit PyTorch entwickelst und trainierst, und dich mit dem wichtigen Thema der Verlustgewichtung in Multi-Output-Modellen beschäftigen. Dabei geht es darum zu verstehen, wie man die Bedeutung verschiedener Aufgaben ausbalanciert, wenn ein Modell mehrere Aufgaben gleichzeitig ausführen soll.

Exercise 1: Multi-Input-Modelle Exercise 2: Datensatz mit zwei Inputs Exercise 3: Modell mit zwei Inputs Exercise 4: Training eines Modells mit zwei Inputs Exercise 5: Multi-Output-Modelle Exercise 6: Dataset und DataLoader mit zwei Outputs Exercise 7: Modellarchitektur mit zwei Outputs Exercise 8: Training von Multi-Output-Modellen Exercise 9: Bewertung von Multi-Output-Modellen und Gewichtung der Verlustfunktion Exercise 10: Evaluierung von Multi-Output-Modellen Exercise 11: Verlustgewichtung Exercise 12: Zusammenfassung