建構 Encoder-Decoder Transformer
現在你已經更新了 DecoderLayer 類別，並在 TransformerDecoder 中做了相應的修改，接下來就可以把所有元件組合起來。由於你以模組化且分層的方式建立這些類別，只需要實例化其中兩個類別就能組出一個 encoder-decoder transformer：TransformerDecoder 與 TransformerEncoder。
本練習屬於課程
Transformer Models with PyTorch
練習說明
- 完成
forward()傳遞以計算編碼器與解碼器的輸出。 - 以提供的
src_mask、tgt_mask、cross_mask實例化並呼叫 transformer，輸入為input_tokens。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
class Transformer(nn.Module):
def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
super().__init__()
self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
def forward(self, x, src_mask, tgt_mask, cross_mask):
# Complete the forward pass
encoder_output = self.encoder(____, ____)
decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
return decoder_output
# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)