特殊トークンを追加する

ここでは、文の先頭を示す sos と末尾を示す eos のトークンを追加する方法を学びます。すでに説明したとおり、現在のモデルでは必須ではありませんが、後の章で実装するモデルでは必要になります。

これらの特殊トークンを追加するために、Python の string.join() 関数を使います。string.join() は、区切り文字を用いて文字列のリストを1つの文字列に結合します。たとえば、['datacamp', 'is', 'awesome'] を 'datacamp is awesome' に変換したい場合は、区切り文字として空白（" "）を使い、" ".join(['datacamp', 'is', 'awesome']) と書きます。

この演習では、10 個のフランス語の文からなる小さなサンプルがすでにインポートされています。