始める無料で始める

エンコーダ Transformer の本体

エンコーダ専用の Transformer 本体は、ほぼ完成です。これまでに作成した InputEmbeddings、PositionalEncoding、EncoderLayer クラスを組み合わせて、TransformerEncoder クラスにまとめましょう。

この演習はコースの一部です

PyTorchで学ぶTransformerモデル

コースを見る

演習の手順

  • トークン埋め込み、位置エンコーディング、エンコーダ層を定義します（リスト内包表記を使って num_layers 個のエンコーダ層を作成します）。
  • これらの層を順に通るフォワードパスを実装します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

class TransformerEncoder(nn.Module):
    def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
        super().__init__()
        # Define the embedding, positional encoding, and encoder layers
        self.embedding = ____(vocab_size, d_model)
        self.positional_encoding = ____(d_model, max_seq_length)
        self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])

    def forward(self, x, src_mask):
        # Perform the forward pass through the layers
        x = self.____(x)
        x = self.____(x)
        for layer in ____:
            x = layer(x, src_mask)
        return x
コードを編集して実行