인코더-디코더 트랜스포머 구성하기
이제 DecoderLayer 클래스를 업데이트했고, 이에 맞춰 TransformerDecoder에도 동일한 변경이 반영되었으니, 모든 것을 하나로 묶을 준비가 되었어요. 클래스를 모듈식이고 계층적으로 설계했기 때문에 인코더-디코더 트랜스포머를 만들려면 두 클래스만 인스턴스화하면 돼요: TransformerDecoder와 TransformerEncoder.
이 연습은 강의의 일부입니다
PyTorch로 배우는 Transformer 모델
연습 안내
- 인코더와 디코더 출력을 계산하도록
forward()패스를 완성하세요. - 제공된
src_mask,tgt_mask,cross_mask를 사용해input_tokens에 트랜스포머를 인스턴스화하고 호출하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
class Transformer(nn.Module):
def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
super().__init__()
self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
def forward(self, x, src_mask, tgt_mask, cross_mask):
# Complete the forward pass
encoder_output = self.encoder(____, ____)
decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
return decoder_output
# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)