1. Lära sig
    2. /
  2. Courses
    3. /
  3. Kerasで学ぶMachine Translation
Connected

exercise

Teacher Forcing 用モデルレイヤーの定義

先ほど定義した機械翻訳モデルを、さらに良くした新バージョンを作成します。Google の翻訳モデルのようなものも、この Teacher Forcing 手法で学習させていたことはご存知でしたか？

すでに見たとおり、Teacher Forcing を採用するには前のモデルに少し手を入れる必要があります。この演習では、必要な変更を加えていきます。言語パラメータとして、en_len と fr_len（英語／フランス語のパディング済み文の長さ）、en_vocab と fr_vocab（英語／フランス語データセットの語彙サイズ）、そして hsize（GRU レイヤーの隠れ層サイズ）が与えられています。デコーダーは fr_len より 1 つ短い長さのフランス語シーケンスを受け取る点に注意してください。エンコーダー関連には接頭辞 en、デコーダー関連には de を使うことも覚えておきましょう。

Instruktioner

100 XP
  • tensorflow.keras から layers サブモジュールをインポートします。
  • エンコーダーの出力と状態を取得し、それぞれ en_out と en_state に代入します。
  • fr_len-1 の長さを持つ one-hot エンコード済みフランス語単語列を受け付けるデコーダーの Input レイヤーを定義します。
  • fr_vocab 個のノードを持つ、TimeDistributed な Dense の softmax レイヤーを定義します。