1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

演習

디코더 레이어

인코더 트랜스포머와 마찬가지로, 디코더 트랜스포머도 멀티헤드 어텐션과 feed-forward 서브레이어로 이루어진 여러 레이어를 쌓아 만듭니다. 이 컴포넌트들을 조합해서 DecoderLayer 클래스를 만들어 보세요.

MultiHeadAttention과 FeedForwardSubLayer 클래스가 제공되어 있으며, 이전에 만든 tgt_mask도 사용할 수 있어요.

指示

100 XP

__init__ 메서드에서 정의한 레이어들을 거치도록 입력 임베딩을 전달하기 위해 forward() 메서드를 완성하세요:

  • 제공된 tgt_mask를 사용하고, 입력 임베딩 x를 query, key, value 행렬로 사용해 어텐션을 계산하세요.
  • dropout과 첫 번째 레이어 정규화인 norm1을 적용하세요.
  • feed-forward 서브레이어인 ff_sublayer를 통과시키세요.
  • dropout과 두 번째 레이어 정규화인 norm2를 적용하세요.