入力埋め込みを作成する

いよいよ独自のTransformerモデル作成を始めます。最初のステップは、入力のトークンIDを埋め込むことです！

次のパラメータを持つ InputEmbeddings クラスを定義します。

vocab_size: モデルの語彙サイズ
d_model: 入力埋め込みの次元数

torch と math ライブラリ、そして torch.nn を nn としてすでにインポートしてあります。これらはコース全体の演習で使用します。

モデルの次元数と語彙サイズを、それぞれ d_model と vocab_size の引数に設定します。
埋め込み層をインスタンス化します。
返り値として、埋め込みに self.d_model の平方根を掛けたものを返します。
vocab_size を 10,000、d_model を 512 として InputEmbeddings をインスタンス化し、token_ids に適用します。