パート1：データセットを探索する

ここではデータセットを少し探索していきます。まず、どのようなデータか感覚をつかみましょう。いくつかのデータを表示し、文を単語ごとにトークン化する方法を学びます。英語ではトークン化は比較的簡単に見えますが、日本語のように英語ほど明確な区切りがない言語もあります。

この演習では、en_text と fr_text の2つのデータセットが用意されています。en_text には英語の文のリストが、fr_text には対応するフランス語の文のリストが含まれています。