1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 Transformer 모델
Connected

연습 문제

입력 임베딩 만들기

이제 직접 transformer 모델을 만들어 볼 시간이에요. 첫 단계는 입력 토큰 ID를 임베딩하는 것입니다!

다음 매개변수를 갖는 InputEmbeddings 클래스를 정의하세요:

  • vocab_size: 모델 어휘의 크기
  • d_model: 입력 임베딩의 차원 수

torch와 math 라이브러리, 그리고 torch.nn은 nn으로 이미 임포트되어 있어요. 이들은 강의 전반의 연습 문제에서 사용됩니다.

지침

100 XP
  • 모델 차원 수와 어휘 크기를 각각 d_model과 vocab_size 인자로 설정하세요.
  • 임베딩 레이어를 인스턴스화하세요.
  • 임베딩에 self.d_model의 제곱근을 곱한 값을 반환하세요.
  • vocab_size를 10,000, d_model을 512로 하여 InputEmbeddings를 인스턴스화하고 이를 token_ids에 적용하세요.