Die Gewichte manuell aktualisieren

Da du nun weißt, wie du auf die Gewichte und Verzerrungen zugreifen kannst, wirst du die Arbeit des PyTorch-Optimierers manuell ausführen. PyTorch führt diesen Schritt automatisch durch, aber wenn du es manuell übst, bekommst du ein Gespür dafür, wie Modelle lernen und sich anpassen. Dieses Verständnis ist bei der Fehlersuche und Feinabstimmung von neuronalen Netzen sehr hilfreich.

Ein neuronales Netz mit drei Schichten wurde erstellt und als model-Variable gespeichert. Dieses Netz wurde für einen Vorwärtsdurchlauf verwendet und der Verlust und seine Ableitungen wurden berechnet. Die Standard-Lernrate lr wurde gewählt, um die Gradienten bei der Aktualisierung zu skalieren.

Diese Übung ist Teil des Kurses

Einführung in Deep Learning mit PyTorch

Interaktive Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

weight0 = model[0].weight
weight1 = model[1].weight
weight2 = model[2].weight

# Access the gradients of the weight of each linear layer
grads0 = ____
grads1 = ____
grads2 = ____

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Einführung in Deep Learning mit PyTorch

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Selbstfahrende Autos, Smartphones, Suchmaschinen... Deep Learning ist mittlerweile überall. Bevor du mit der Erstellung komplexer Modelle beginnst, wirst du dich mit PyTorch, einem Deep-Learning-Framework, vertraut machen. Du lernst, wie du Tensoren manipulierst, PyTorch-Datenstrukturen erstellst und dein erstes neuronales Netz in PyTorch mit linearen Schichten aufbaust.

Exercise 1: Einführung in Deep Learning mit PyTorch Exercise 2: Erste Schritte mit PyTorch-Tensoren Exercise 3: Prüfen und Addieren von Tensoren Exercise 4: Neuronale Netze und Schichten Exercise 5: Netzwerke aus linearen Schichten Exercise 6: Gewichte verstehen Exercise 7: Verdeckte Schichten und Parameter Exercise 8: Dein erstes neuronales Netz Exercise 9: Lineare Schichten stapeln Exercise 10: Parameter zählen

Um ein neuronales Netz in PyTorch zu trainieren, musst du zunächst zusätzliche Komponenten wie Aktivierungs- und Verlustfunktionen verstehen. Du wirst dann feststellen, dass das Training eines Netzes die Minimierung dieser Verlustfunktion erfordert, was durch die Berechnung von Gradienten geschieht. Du lernst, wie du diese Gradienten nutzen kannst, um die Parameter deines Modells zu aktualisieren.

Exercise 1: Aktivierungsfunktionen entdecken Exercise 2: Wende das Gelernte an!Exercise 3: Die Sigmoid- und Softmax-Funktionen Exercise 4: Einen Vorwärtsdurchlauf ausführen Exercise 5: Einen binären Klassifikator in PyTorch erstellen Exercise 6: Von der Regression zur Mehrklassen-Klassifizierung Exercise 7: Verlustfunktionen zur Bewertung von Modellvorhersagen verwenden Exercise 8: One-Hot-Labels erstellen Exercise 9: Kreuzentropieverlust berechnen Exercise 10: Ableitungen zur Aktualisierung der Modellparameter verwenden Exercise 11: Auf die Modellparameter zugreifen Exercise 12: Die Gewichte manuell aktualisieren

Aktuelle Übung

Exercise 13: Den PyTorch-Optimierer verwenden

Nachdem du nun die wichtigsten Komponenten eines neuronalen Netzes kennengelernt hast, wirst du eine mit Hilfe einer Trainingsschleife trainieren. Du erkundest mögliche Probleme wie verschwindende Gradienten und lernst Strategien, um sie zu lösen, wie z. B. alternative Aktivierungsfunktionen und die Abstimmung von Lernrate und Momentum.

Exercise 1: Das Laden von Daten im Detail Exercise 2: TensorDataset verwenden Exercise 3: DataLoader verwenden Exercise 4: Unsere erste Trainingsschleife schreiben Exercise 5: MSE-Verlust verwenden Exercise 6: Eine Trainingsschleife schreiben Exercise 7: ReLU-Aktivierungsfunktionen Exercise 8: Die ReLU implementieren Exercise 9: Leaky ReLU implementieren Exercise 10: Aktivierungsfunktionen verstehen Exercise 11: Lernrate und Momentum Exercise 12: Mit der Lernrate experimentieren Exercise 13: Mit dem Momentum experimentieren

Ein Deep-Learning-Modell zu trainieren ist eine Kunst. Um sicherzustellen, dass unser Modell richtig trainiert wird, müssen wir während des Trainings bestimmte Metriken wie den Verlust oder die Genauigkeit im Auge behalten. Wir werden lernen, wie man solche Metriken berechnet und wie man Überanpassung reduziert.

Exercise 1: Schichtinitialisierung und Transferlernen Exercise 2: Feinabstimmung des Prozesses Exercise 3: Schichten eines Modells einfrieren Exercise 4: Schichtinitialisierung Exercise 5: Die Modellleistung bewerten Exercise 6: Die Auswertungsschleife schreiben Exercise 7: Die Genauigkeit mit Hilfe von TorchMetrics messen Exercise 8: Der Kampf gegen Überanpassung Exercise 9: Mit Dropout experimentieren Exercise 10: Überanpassung verstehen Exercise 11: Die Modellleistung verbessern Exercise 12: Zufallssuche implementieren Exercise 13: Zusammenfassung im Video