PyTorch の Transformer
すでにトランスフォーマーアーキテクチャの各コンポーネントに慣れてきましたので、いよいよモデルを定義してみましょう！ torch.nn モジュール（ここでは nn としてインポート済み）を使えば、わずか数行で実装できます。
この演習はコースの一部です
PyTorchで学ぶTransformerモデル
演習の手順
- アテンションヘッドを
8、エンコーダ層とデコーダ層をそれぞれ6、入力系列の埋め込み長を1536にして、Transformer を定義します。 - モデルオブジェクトを出力して、モデルのアーキテクチャを確認します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Define the transformer model
model = ____
# Print the model object
print(____)