1. 学ぶ
    2. /
  2. コース
    3. /
  3. Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)
Connected

演習

パラメータ数の比較

one-hot 表現は非常にスパースで、単語の表現として適していないことを学びました。Embedding レイヤーを使うと密なベクトル表現が得られますが、学習すべきパラメータ数が多くなるという側面もあります。

この演習では、embeddings と one-hot エンコーディングを用いた2つのモデルのパラメータ数を比較し、違いを確認します。

環境にはすでに model_onehot が読み込まれており、keras からの Sequential、Dense、GRU も利用できます。最後に、vocabulary_size=80000 と sentence_len=200 のパラメータも読み込まれています。

指示

100 XP
  • keras.layers から Embedding レイヤーをインポートします。
  • Embedding レイヤーでは、入力次元に語彙サイズ+1、入力長に文の長さを指定します。
  • モデルをコンパイルします。
  • Embedding を用いたモデルのサマリーを表示します。