文と次の文字のベクトルを作成する

この演習では、データ前処理の重要性をより強調します。『The Big Bang Theory』のキャラクター、Sheldon のセリフからなるテキストを入力として使い、テキスト生成モデルを作成する前に必要となる、文（シーケンス）のインデックスと次の文字のベクトルを作成します。

テキストは sheldon 変数に、語彙（文字の集合）は vocabulary 変数に用意されています。ハイパーパラメータ chars_window と step はそれぞれ 20 と 3 に設定済みです。これは、20 文字のシーケンスから次の 1 文字を予測し、ウィンドウは各イテレーションで 3 文字ずつシフトすることを意味します。

また、pandas は pd として環境に読み込まれています。