1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

연습 문제

디코더 레이어에 교차-어텐션 추가하기

이전에 정의한 인코더와 디코더 스택을 하나의 인코더-디코더 트랜스포머로 통합하려면, 둘 사이를 이어 주는 교차-어텐션 메커니즘을 만들어야 해요.

이전에 정의한 MultiHeadAttention 클래스는 그대로 사용할 수 있어요.

지침

100 XP
  • __init__ 메서드에서 교차-어텐션 메커니즘(MultiHeadAttention 사용)과 세 번째 레이어 정규화(nn.LayerNorm 사용)를 정의하세요.
  • forward 패스를 완성해 디코더 레이어에 교차-어텐션을 추가하세요.