ここでは、Teacher Forcing で学習した推論モデルを使ってフランス語訳を生成します。

このモデル（nmt_tf）は 100,000 文で 50 エポック学習しており、35,000 件超の検証セットでおよそ 98% の精度を達成しています。学習済みモデルを読み込む必要があるため、この演習の初期化には時間がかかる場合があります。sents2seqs() 関数が用意されています。さらに、次の 2 つの新しい関数も利用できます。

word2onehot(tokenizer, word, vocab_size) は以下を受け取ります:

tokenizer - Keras の Tokenizer オブジェクト
word - 語彙に含まれる単語を表す文字列（例：'apple'）
vocab_size - 語彙サイズ

probs2word(probs, tok) は以下を受け取ります:

probs - 形状が [1,<French Vocab Size>] のモデル出力
tok - Keras の Tokenizer オブジェクト

これらの関数のソースコードは、コンソールで print(inspect.getsource(word2onehot)) と print(inspect.getsource(probs2word)) を実行すると確認できます。

機械翻訳における単語埋め込みの活用

Create Your Free Account