Sequenz-zu-Sequenz-Modelle

In der Videoübung hast du vier Arten von Sequenz-zu-Sequenz-Modellen kennengelernt: Viele-zu-Eins (Klassifizierung) und Viele-zu-Viele (Textgenerierung, neuronale maschinelle Übersetzung und Sprachmodelle). In dieser Übung musst du anhand der folgenden Problemstellung den richtigen Modelltyp auswählen:

Du hilfst deinem Kumpel, der ein Experte für Spracherkennung ist. Dein Kumpel hat ein Modell gebaut, das verschiedene englische Akzente erkennen kann, aber das Modell hat Probleme mit Homophonen – also Wörtern, die gleich klingen, aber unterschiedliche Bedeutungen haben, wie „sea“ und „see“ oder „write“ und „right“.

Du schlägst vor, ein Modell zu verwenden, das den Kontext um die Wörter herum nutzt, um die semantische Bedeutung der Wörter zu erkennen. Durch das Lernen der Bedeutung der Wörter würde das neue Modell Ausdrücke wie „Hast du das Auto gesehen?“ vermeiden – es würde erkennen, dass in diesem Fall das richtige Wort „sehen“ wäre.

Welches Sequenz-zu-Sequenz-Modell passt am besten?

Diese Übung ist Teil des Kurses

Rekursive neuronale Netze (RNNs) für die Sprachmodellierung mit Keras

Interaktive Übung

In dieser interaktiven Übung kannst du die Theorie in die Praxis umsetzen.

Diese Übung ist Teil des Kurses

Rekursive neuronale Netze (RNNs) für die Sprachmodellierung mit Keras

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

In diesem Kapitel lernst du die Grundlagen von rekurrenten neuronalen Netzen (RNN) kennen. Wir starten mit ein paar Voraussetzungen, schauen uns dann an, wie Infos im Netzwerk fließen, und zeigen schließlich, wie man solche Modelle mit Keras bei der Sentiment-Klassifizierung umsetzt.

Exercise 1: Einführung in den Kurs Exercise 2: Vergleich der Anzahl der Parameter von RNN und ANN Exercise 3: Stimmungsanalyse Exercise 4: Sequenz-zu-Sequenz-Modelle

Aktuelle Übung

Exercise 5: Einführung in Sprachmodelle Exercise 6: Sich an Textdaten gewöhnen Exercise 7: Textdaten für die Modelleingabe vorbereiten Exercise 8: Neuen Text umwandeln Exercise 9: Einführung in RNN in Keras Exercise 10: Keras-Modelle Exercise 11: Keras-Vorverarbeitung Exercise 12: Dein erstes RNN-Modell

Du lernst die Probleme des Gradientenverlusts und der Gradientenexplosion kennen, die oft bei RNNs auftreten, und wie du mit GRU- und LSTM-Zellen damit umgehen kannst. Außerdem wirst du Einbettungsebenen für Sprachmodelle erstellen und dich nochmal mit der Sentimentklassifizierung beschäftigen.

Exercise 1: Verschwindende und explodierende Gradienten Exercise 2: Explodierendes Gradientenproblem Exercise 3: Problem mit dem verschwindenden Gradienten Exercise 4: GRU- und LSTM-Zellen Exercise 5: GRU-Zellen sind besser als einfache RNNs.Exercise 6: RNN-Schichten stapeln Exercise 7: Die Einbettungsschicht Exercise 8: Anzahl der Parameter im Vergleich Exercise 9: Lernen übertragen Exercise 10: Einbettungen verbessern die Leistung Exercise 11: Sentimentklassifizierung nochmal angeschaut Exercise 12: Bessere Einstufung der Stimmung Exercise 13: Verwendung der CNN-Schicht

Als Nächstes lernst du in diesem Kapitel, wie du Daten für die Mehrklassenklassifizierung aufbereitest und was der Unterschied zwischen Mehrklassenklassifizierung und binärer Klassifizierung (Sentimentanalyse) ist. Zum Schluss lernst du, wie du mit Keras Modelle erstellen und deren Leistung messen kannst.

Exercise 1: Datenvorverarbeitung Exercise 2: Etikettenvektoren vorbereiten Exercise 3: Daten vorbereiten Exercise 4: Transferlernen für Sprachmodelle Exercise 5: Ausgangspunkt für Transferlernen Exercise 6: Word2Vec Exercise 7: Klassifizierungsmodelle mit mehreren Klassen Exercise 8: Datensatz „20 News Groups“ erkunden Exercise 9: Nachrichtenartikel sortieren Exercise 10: Die Leistung des Modells checken Exercise 11: Präzision-Rückruf-Kompromiss Exercise 12: Genauigkeit oder Rückrufquote, das ist die Frage Exercise 13: Leistung bei der Klassifizierung mehrerer Klassen

In diesem Kapitel lernst du zwei Anwendungen von RNN-Modellen kennen: Textgenerierung und neuronale maschinelle Übersetzung. Du lernst, wie du die Textdaten so aufbereitest, dass sie für die Modelle passen. Das Textgenerierungsmodell wird verwendet, um die Sprechweise einer Figur nachzuahmen, und wird Spaß dabei haben, Sheldon aus „The Big Bang Theory“ zu imitieren. Neuronale maschinelle Übersetzung wird zum Beispiel von Google Translate in einem viel komplexeren Modell verwendet. In diesem Kapitel erstellst du ein Modell, das kurze Sätze aus dem Portugiesischen ins Englische übersetzt.

Exercise 1: Sequenz-zu-Sequenz-Modelle Exercise 2: Beispiele für die Textgenerierung Exercise 3: NMT-Beispiel Exercise 4: Die Funktion zum Erstellen von Texten Exercise 5: Nächstes Zeichen vorhersagen Exercise 6: Satz mit Kontext erstellen Exercise 7: Ändere die Wahrscheinlichkeitsskala Exercise 8: Modelle zur Textgenerierung Exercise 9: Erstelle Vektoren aus Sätzen und den nächsten Zeichen Exercise 10: Vorbereitung der Daten für das Training Exercise 11: Erstellen des Textgenerierungsmodells Exercise 12: Neuronale maschinelle Übersetzung Exercise 13: Den Text vorbereiten Exercise 14: Den Text für die Ausgabe vorbereiten Exercise 15: Übersetze Portugiesisch ins Englische Exercise 16: Glückwunsch!