1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

演習

디코더 트랜스포머 완성하기

이제 디코더 트랜스포머의 본체를 만들어 볼 차례예요! 앞에서 만든 InputEmbeddings, PositionalEncoding, DecoderLayer 클래스를 결합해 구현합니다.

指示

100 XP
  • 리스트 컴프리헨션과 DecoderLayer 클래스를 사용해 num_layers 개의 디코더 레이어 리스트를 정의하세요.
  • 은닉 상태를 단어 확률로 투영할 선형 레이어를 정의하세요.
  • __init__에 정의한 레이어들을 따라 순전파를 완성하세요.
  • 디코더 트랜스포머를 인스턴스화하고 input_tokens와 tgt_mask에 적용하세요.