1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras
Connected

cvičení

Porovnání počtu parametrů

Viděl/a jsi, že one-hot reprezentace není vhodným způsobem reprezentace slov, protože je velmi řídká. Vrstva Embedding vytváří hustou reprezentaci vektorů, ale zároveň vyžaduje naučení velkého množství parametrů.

V tomto cvičení porovnáš počet parametrů dvou modelů – jednoho používajícího embeddings a druhého používajícího one-hot kódování – a uvidíš, jaký je mezi nimi rozdíl.

Model model_onehot je již načtený v prostředí, stejně jako Sequential, Dense a GRU z keras. Dále jsou načteny i parametry vocabulary_size=80000 a sentence_len=200.

Pokyny

100 XP
  • Importuj vrstvu Embedding z keras.layers.
  • Pro embedding vrstvu použij jako vstupní dimenzi velikost slovníku plus jedničku a jako vstupní délku délku věty.
  • Sestav model.
  • Vypiš přehled modelu s embedding vrstvou.