Förbehandla data

Du har lärt dig skillnaderna i förbehandling av data vid flerklass-klassificering. Nu är det dags att omsätta det i praktiken genom att förbehandla data inför skapandet av en enkel flerklass-klassificeringsmodell.

Datamängden är inläst i variabeln news_dataset och har följande attribut:

news_dataset.data: array med texter
news_dataset.target: array med målkategorier som numeriska index

Exempeldatan innehåller 5 000 observationer.

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Övningsinstruktioner

Instansiera klassen Tokenizer i variabeln tokenizer.
Anpassa tokenizer-variabeln på textdatan.
Använd metoden .texts_to_sequences() på textdatan.
Använd funktionen to_categorical() för att förbereda målindexen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create and fit tokenizer
tokenizer = ____
tokenizer.fit_on_texts(____)

# Prepare the data
prep_data = tokenizer.____(news_dataset.data)
prep_data = pad_sequences(prep_data, maxlen=200)

# Prepare the labels
target_labels = to_categorical(____)

# Print the shapes
print(prep_data.shape)
print(target_labels.shape)

Redigera och kör kod

Den här övningen är en del av kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet lär du dig grunderna i återkommande neurala nätverk (RNN). Du börjar med de viktigaste förkunskaperna, fortsätter med att förstå hur information flödar genom nätverket och avslutar med att implementera sådana modeller i Keras för sentimentklassificering.

Exercise 1: Introduktion till kursen Exercise 2: Jämföra antalet parametrar i RNN och ANN Exercise 3: Sentimentanalys Exercise 4: Sekvens-till-sekvens-modeller Exercise 5: Introduktion till språkmodeller Exercise 6: Bekanta dig med textdata Exercise 7: Förbered textdata för modellinmatning Exercise 8: Omvandla ny text Exercise 9: Introduktion till RNN i Keras Exercise 10: Keras-modeller Exercise 11: Förbearbetning i Keras Exercise 12: Din första RNN-modell

Du lär dig om problemen med försvinnande och exploderande gradienter, som ofta uppstår i RNN, och hur du hanterar dem med GRU- och LSTM-celler. Dessutom skapar du inbäddningslager för språkmodeller och återvänder till uppgiften med sentimentklassificering.

Exercise 1: Försvinnande och exploderande gradienter Exercise 2: Problemet med exploderande gradienter Exercise 3: Problemet med försvinnande gradienter Exercise 4: GRU- och LSTM-celler Exercise 5: GRU-celler är bättre än SimpleRNN Exercise 6: Stapla RNN-lager Exercise 7: Inbäddningslagret (Embedding layer)Exercise 8: Jämförelse av antal parametrar Exercise 9: Transferinlärning Exercise 10: Inbäddningar förbättrar prestandan Exercise 11: Sentimentklassificering – en ny titt Exercise 12: Förbättrad sentimentklassificering Exercise 13: Använda CNN-lagret

I det här kapitlet lär du dig att förbereda data för multiklassklassificering samt skillnaderna mellan multiklassklassificering och binär klassificering (sentimentanalys). Slutligen lär du dig att skapa modeller och utvärdera deras prestanda med Keras.

Exercise 1: Dataförbehandling Exercise 2: Förbered etikettsvektorer Exercise 3: Förbehandla data

Aktuell övning

Exercise 4: Transferlärning för språkmodeller Exercise 5: Startpunkt för transferinlärning Exercise 6: Word2Vec Exercise 7: Modeller för flerklass-klassificering Exercise 8: Utforska datamängden 20 News Groups Exercise 9: Klassificering av nyhetsartiklar Exercise 10: Utvärdera modellens prestanda Exercise 11: Avvägning mellan precision och återkallning Exercise 12: Precision eller recall – det är frågan Exercise 13: Prestanda vid flerklasskategorisering

Det här kapitlet introducerar dig till två tillämpningar av RNN-modeller: textgenerering och neural maskinöversättning. Du lär dig att förbereda textdata i det format som modellerna kräver. Textgenereringsmodellen används för att efterlikna en karaktärs sätt att tala – här får du ha lite kul och imitera Sheldon från The Big Bang Theory. Neural maskinöversättning används till exempel av Google Translate i betydligt mer komplexa modeller. I det här kapitlet skapar du en modell som översätter korta portugisiska fraser till engelska.

Exercise 1: Sekvens-till-sekvens-modeller Exercise 2: Exempel på textgenerering Exercise 3: NMT-exempel Exercise 4: Textgenereringsfunktionen Exercise 5: Förutsäg nästa tecken Exercise 6: Generera en mening med kontext Exercise 7: Ändra sannolikhetsskalan Exercise 8: Modeller för textgenerering Exercise 9: Skapa vektorer av meningar och nästa tecken Exercise 10: Förbereda data för träning Exercise 11: Skapa textgenereringsmodellen Exercise 12: Neural maskinöversättning Exercise 13: Förbered indatatexten Exercise 14: Förbereda utdatatexten Exercise 15: Översätt portugisiska till engelska Exercise 16: Grattis!