1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

연습 문제

인코더 트랜스포머 레이어

FeedForwardSubLayer 클래스가 정의되어 있으니, 이제 EncoderLayer 클래스를 정의하는 데 필요한 모든 구성 요소가 준비되었습니다. 인코더 레이어는 일반적으로 멀티헤드 어텐션 메커니즘과, 서브레이어의 입력과 출력에 레이어 정규화와 드롭아웃이 적용된 피드포워드 서브레이어로 이루어져 있다는 점을 떠올려 보세요.

이미 정의해 둔 클래스들은 동일한 이름으로 사용할 수 있으며, torch와 torch.nn은 nn으로 제공됩니다.

지침

100 XP
  • __init__ 메서드를 완성해 MultiHeadAttention, FeedForwardSubLayer, 그리고 두 개의 레이어 정규화를 인스턴스화하세요.
  • forward() 메서드에서 멀티헤드 어텐션 메커니즘과 피드포워드 서브레이어를 채워 넣어 완성하세요. 어텐션 메커니즘에는 제공된 src_mark와 입력 임베딩 x를 쿼리, 키, 밸류 행렬로 사용하세요.