编码器 Transformer 主体
您的仅编码器（encoder-only）Transformer 主体已接近完成！现在请把此前创建的 InputEmbeddings、PositionalEncoding 和 EncoderLayer 类组合成一个 TransformerEncoder 类。
本练习是课程的一部分
使用 PyTorch 的 Transformer 模型
练习说明
- 定义 token 嵌入、位置编码和编码器层（使用列表推导创建
num_layers个编码器层）。 - 依次通过这些层执行前向传播。
交互式实操练习
通过完成这段示例代码来试试这个练习。
class TransformerEncoder(nn.Module):
def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
super().__init__()
# Define the embedding, positional encoding, and encoder layers
self.embedding = ____(vocab_size, d_model)
self.positional_encoding = ____(d_model, max_seq_length)
self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
def forward(self, x, src_mask):
# Perform the forward pass through the layers
x = self.____(x)
x = self.____(x)
for layer in ____:
x = layer(x, src_mask)
return x