Encoder transformer 主體
你的僅含 encoder 的 transformer 主體已經快完成了！現在要把先前建立的 InputEmbeddings、PositionalEncoding 與 EncoderLayer 類別組合成一個 TransformerEncoder 類別。
本練習屬於課程
Transformer Models with PyTorch
練習說明
- 定義 token 嵌入向量、位置編碼與 encoder 各層（使用串列生成式建立
num_layers個 encoder 層）。 - 讓資料依序通過這些層完成 forward pass。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
class TransformerEncoder(nn.Module):
def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
super().__init__()
# Define the embedding, positional encoding, and encoder layers
self.embedding = ____(vocab_size, d_model)
self.positional_encoding = ____(d_model, max_seq_length)
self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
def forward(self, x, src_mask):
# Perform the forward pass through the layers
x = self.____(x)
x = self.____(x)
for layer in ____:
x = layer(x, src_mask)
return x