인코더 트랜스포머 본체
인코더 전용 트랜스포머 본체가 거의 완성되었어요! 지금까지 만든 InputEmbeddings, PositionalEncoding, EncoderLayer 클래스를 하나로 묶어 TransformerEncoder 클래스를 만들어 보세요.
이 연습은 강의의 일부입니다
PyTorch로 배우는 Transformer 모델
연습 안내
- 토큰 임베딩, 위치 인코딩, 인코더 레이어를 정의하세요 (
num_layers개의 인코더 레이어를 리스트 컴프리헨션으로 생성). - 이 레이어들을 순서대로 통과하는 forward 패스를 구현하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
class TransformerEncoder(nn.Module):
def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
super().__init__()
# Define the embedding, positional encoding, and encoder layers
self.embedding = ____(vocab_size, d_model)
self.positional_encoding = ____(d_model, max_seq_length)
self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
def forward(self, x, src_mask):
# Perform the forward pass through the layers
x = self.____(x)
x = self.____(x)
for layer in ____:
x = layer(x, src_mask)
return x