パート1：データセットを探索する
ここではデータセットを少し探索していきます。まず、どのようなデータか感覚をつかみましょう。いくつかのデータを表示し、文を単語ごとにトークン化する方法を学びます。英語ではトークン化は比較的簡単に見えますが、日本語のように英語ほど明確な区切りがない言語もあります。
この演習では、en_text と fr_text の2つのデータセットが用意されています。en_text には英語の文のリストが、fr_text には対応するフランス語の文のリストが含まれています。
この演習はコースの一部です
Kerasで学ぶMachine Translation
演習の手順
- 英語文（
en_text）とフランス語文（fr_text）の最初の5文を反復処理するzip()を書いてください。 en_textから最初の英語文を取得します。- 取得した文を
split()関数と半角スペースでトークン化し、first_wordsに代入します。 - トークン化した単語を出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Iterate through the first 5 English and French sentences in the dataset
for en_sent, fr_sent in zip(____, ____):
print("English: ", en_sent)
print("\tFrench: ", fr_sent)
# Get the first sentence of the English dataset
first_sent = ____[____]
print("First sentence: ", first_sent)
# Tokenize the first sentence
____ = ____.____(____)
# Print the tokenized words
print("\tWords: ", ____)