1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

연습 문제

PyTorch 트랜스포머

이제 트랜스포머 아키텍처의 다양한 구성 요소에 익숙해졌으니, 직접 정의해 볼 차례예요! nn으로 임포트된 torch.nn 모듈을 사용하면 몇 줄의 코드만으로 아주 간단하게 구현할 수 있습니다.

지침

100 XP
  • 어텐션 헤드 8개, 인코더와 디코더 레이어 각각 6개, 입력 시퀀스 임베딩 길이 1536인 트랜스포머를 정의하세요.
  • 모델 객체를 출력해 모델 아키텍처를 확인하세요.