Předzpracování dat

Naučil/a ses, v čem se liší předzpracování dat pro případ multi-class klasifikace. Teď to vyzkoušíme v praxi – předzpracujeme data, abychom mohli sestavit jednoduchý model pro multi-class klasifikaci.

Dataset je načtený v proměnné news_dataset a má tyto atributy:

news_dataset.data: pole s texty
news_dataset.target: pole s cílovými kategoriemi jako číselné indexy

Vzorová data obsahují 5 000 pozorování.

Toto cvičení je součástí kurzu

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras

Pokyny k cvičení

Vytvoř instanci třídy Tokenizer a ulož ji do proměnné tokenizer.
Natrénuj proměnnou tokenizer na textových datech.
Použij metodu .texts_to_sequences() na textová data.
Pomocí funkce to_categorical() připrav cílové indexy.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create and fit tokenizer
tokenizer = ____
tokenizer.fit_on_texts(____)

# Prepare the data
prep_data = tokenizer.____(news_dataset.data)
prep_data = pad_sequences(prep_data, maxlen=200)

# Prepare the labels
target_labels = to_categorical(____)

# Print the shapes
print(prep_data.shape)
print(target_labels.shape)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole se seznámíš se základy rekurentních neuronových sítí (RNN). Začneme potřebnými předpoklady, pokračujeme pochopením toho, jak informace protékají sítí, a nakonec si ukážeme, jak takovéto modely implementovat v Keras na úloze klasifikace sentimentu.

Exercise 1: Úvod do kurzu Exercise 2: Porovnání počtu parametrů RNN a ANN Exercise 3: Analýza sentimentu Exercise 4: Modely sekvence na sekvenci Exercise 5: Úvod do jazykových modelů Exercise 6: Seznámení s textovými daty Exercise 7: Příprava textových dat pro vstup modelu Exercise 8: Transformace nového textu Exercise 9: Úvod do RNN v Kerasu Exercise 10: Modely v Keras Exercise 11: Předzpracování dat v Kerasu Exercise 12: Tvůj první model RNN

Dozvíš se o problémech mizejícího a explodujícího gradientu, které se v RNN běžně vyskytují, a o tom, jak je řešit pomocí buněk GRU a LSTM. Navíc vytvoříš embedding vrstvy pro jazykové modely a vrátíš se k úloze klasifikace sentimentu.

Exercise 1: Mizející a explodující gradienty Exercise 2: Problém explodujícího gradientu Exercise 3: Problém mizejících gradientů Exercise 4: Buňky GRU a LSTM Exercise 5: GRU buňky jsou lepší než SimpleRNN Exercise 6: Skládání vrstev RNN Exercise 7: Embedding vrstva Exercise 8: Porovnání počtu parametrů Exercise 9: Transfer learning Exercise 10: Embedding vrstva zlepšuje výkon Exercise 11: Klasifikace sentimentu znovu Exercise 12: Lepší klasifikace sentimentu Exercise 13: Použití vrstvy CNN

V této kapitole se naučíš, jak připravit data pro úlohu víceřídní klasifikace, a také jaké jsou rozdíly mezi víceřídní klasifikací a binární klasifikací (analýzou sentimentu). Nakonec si ukážeme, jak v Keras vytvářet modely a měřit jejich výkon.

Exercise 1: Příprava dat Exercise 2: Příprava vektorů štítků Exercise 3: Předzpracování dat

Aktuální cvičení

Exercise 4: Transfer learning pro jazykové modely Exercise 5: Výchozí bod pro transfer learning Exercise 6: Word2Vec Exercise 7: Modely pro klasifikaci do více tříd Exercise 8: Průzkum datasetu 20 News Groups Exercise 9: Klasifikace zpravodajských článků Exercise 10: Hodnocení výkonu modelu Exercise 11: Kompromis mezi přesností a úplností Exercise 12: Precision nebo recall – to je oč tu běží Exercise 13: Výkon při multi-class klasifikaci

Tato kapitola tě seznámí se dvěma aplikacemi modelů RNN: generováním textu a neuronovým strojovým překladem. Naučíš se, jak připravit textová data ve formátu, který modely potřebují. Model pro generování textu slouží k napodobení způsobu vyjadřování postavy a my si trochu zahrajeme na Sheldona z Teorie velkého třesku. Neurální strojový překlad využívá například Google Translate v mnohem složitějším modelu. V této kapitole vytvoříš model, který překládá krátké portugalské fráze do angličtiny.

Exercise 1: Modely sekvence na sekvenci Exercise 2: Příklady generování textu Exercise 3: Příklad NMT Exercise 4: Funkce pro generování textu Exercise 5: Předpověz další znak Exercise 6: Generování věty s kontextem Exercise 7: Změna teplotní škály pravděpodobnosti Exercise 8: Modely pro generování textu Exercise 9: Vytvoření vektorů vět a následujících znaků Exercise 10: Příprava dat pro trénování Exercise 11: Vytvoření modelu pro generování textu Exercise 12: Neuronový strojový překlad Exercise 13: Příprava vstupního textu Exercise 14: Příprava výstupního textu Exercise 15: Překlad z portugalštiny do angličtiny Exercise 16: Gratulujeme!