完成解碼器 Transformer
該來建立解碼器 Transformer 的主體了！你需要把先前建立的 InputEmbeddings、PositionalEncoding，以及 DecoderLayer 類別組合起來。
本練習屬於課程
Transformer Models with PyTorch
練習說明
- 使用串列生成式與
DecoderLayer類別，定義一個包含num_layers個解碼器層的串列。 - 定義一個線性層，將隱藏狀態投影為各詞彙的機率。
- 完成在
__init__中定義之各層的前向傳遞流程。 - 具現化一個解碼器 Transformer，並將它套用到
input_tokens與tgt_mask。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
class TransformerDecoder(nn.Module):
def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
super(TransformerDecoder, self).__init__()
self.embedding = InputEmbeddings(vocab_size, d_model)
self.positional_encoding = PositionalEncoding(d_model, max_seq_length)
# Define the list of decoder layers and linear layer
self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
# Define a linear layer to project hidden states to likelihoods
self.fc = ____
def forward(self, x, tgt_mask):
# Complete the forward pass
x = self.____(x)
x = self.____(x)
for layer in self.layers:
x = ____
x = self.____(x)
return F.log_softmax(x, dim=-1)
# Instantiate a decoder transformer and apply it to input_tokens and tgt_mask
transformer_decoder = ____(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
output = ____
print(output)
print(output.shape)