Sekvens-till-sekvens-modeller

I videoövningen lärde du dig om fyra typer av sekvens-till-sekvens-modeller: många-till-en (klassificering) och många-till-många (textgenerering, neural maskinöversättning och språkmodeller). I den här övningen ska du välja rätt typ av modell utifrån följande problembeskrivning:

Du hjälper en vän som är specialist inom taligenkänning. Din vän har byggt en modell som kan känna igen olika engelska accenter, men modellen har svårt att skilja på homofoner – ord som uttalas likadant men har olika betydelse, till exempel "sea" och "see" eller "write" och "right".

Du föreslår att använda en modell som utnyttjar kontexten kring orden för att identifiera deras semantiska betydelse. Genom att lära sig ordens betydelse skulle den nya modellen undvika utdata som "Did you sea that car?" – den skulle känna igen att rätt ord i det sammanhanget är "see".

Vilken typ av sekvens-till-sekvens-modell är lämplig?

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet lär du dig grunderna i återkommande neurala nätverk (RNN). Du börjar med de viktigaste förkunskaperna, fortsätter med att förstå hur information flödar genom nätverket och avslutar med att implementera sådana modeller i Keras för sentimentklassificering.

Exercise 1: Introduktion till kursen Exercise 2: Jämföra antalet parametrar i RNN och ANN Exercise 3: Sentimentanalys Exercise 4: Sekvens-till-sekvens-modeller

Aktuell övning

Exercise 5: Introduktion till språkmodeller Exercise 6: Bekanta dig med textdata Exercise 7: Förbered textdata för modellinmatning Exercise 8: Omvandla ny text Exercise 9: Introduktion till RNN i Keras Exercise 10: Keras-modeller Exercise 11: Förbearbetning i Keras Exercise 12: Din första RNN-modell

Du lär dig om problemen med försvinnande och exploderande gradienter, som ofta uppstår i RNN, och hur du hanterar dem med GRU- och LSTM-celler. Dessutom skapar du inbäddningslager för språkmodeller och återvänder till uppgiften med sentimentklassificering.

Exercise 1: Försvinnande och exploderande gradienter Exercise 2: Problemet med exploderande gradienter Exercise 3: Problemet med försvinnande gradienter Exercise 4: GRU- och LSTM-celler Exercise 5: GRU-celler är bättre än SimpleRNN Exercise 6: Stapla RNN-lager Exercise 7: Inbäddningslagret (Embedding layer)Exercise 8: Jämförelse av antal parametrar Exercise 9: Transferinlärning Exercise 10: Inbäddningar förbättrar prestandan Exercise 11: Sentimentklassificering – en ny titt Exercise 12: Förbättrad sentimentklassificering Exercise 13: Använda CNN-lagret

I det här kapitlet lär du dig att förbereda data för multiklassklassificering samt skillnaderna mellan multiklassklassificering och binär klassificering (sentimentanalys). Slutligen lär du dig att skapa modeller och utvärdera deras prestanda med Keras.

Exercise 1: Dataförbehandling Exercise 2: Förbered etikettsvektorer Exercise 3: Förbehandla data Exercise 4: Transferlärning för språkmodeller Exercise 5: Startpunkt för transferinlärning Exercise 6: Word2Vec Exercise 7: Modeller för flerklass-klassificering Exercise 8: Utforska datamängden 20 News Groups Exercise 9: Klassificering av nyhetsartiklar Exercise 10: Utvärdera modellens prestanda Exercise 11: Avvägning mellan precision och återkallning Exercise 12: Precision eller recall – det är frågan Exercise 13: Prestanda vid flerklasskategorisering

Det här kapitlet introducerar dig till två tillämpningar av RNN-modeller: textgenerering och neural maskinöversättning. Du lär dig att förbereda textdata i det format som modellerna kräver. Textgenereringsmodellen används för att efterlikna en karaktärs sätt att tala – här får du ha lite kul och imitera Sheldon från The Big Bang Theory. Neural maskinöversättning används till exempel av Google Translate i betydligt mer komplexa modeller. I det här kapitlet skapar du en modell som översätter korta portugisiska fraser till engelska.

Exercise 1: Sekvens-till-sekvens-modeller Exercise 2: Exempel på textgenerering Exercise 3: NMT-exempel Exercise 4: Textgenereringsfunktionen Exercise 5: Förutsäg nästa tecken Exercise 6: Generera en mening med kontext Exercise 7: Ändra sannolikhetsskalan Exercise 8: Modeller för textgenerering Exercise 9: Skapa vektorer av meningar och nästa tecken Exercise 10: Förbereda data för träning Exercise 11: Skapa textgenereringsmodellen Exercise 12: Neural maskinöversättning Exercise 13: Förbered indatatexten Exercise 14: Förbereda utdatatexten Exercise 15: Översätt portugisiska till engelska Exercise 16: Grattis!