1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 텍스트 딥러닝
Connected

연습 문제

어텐션이 포함된 RNN 모델 만들기

PyBooks 팀은 다양한 딥러닝 아키텍처를 탐색하고 있어요. 조사를 거친 뒤, 문장 속 다음 단어를 예측하기 위해 어텐션 메커니즘이 포함된 RNN을 구현하기로 했습니다. 문장으로 이루어진 데이터셋과 그로부터 만들어진 vocabulary가 제공됩니다.

다음 패키지가 미리 임포트되어 있습니다: torch, nn.

다음 항목이 미리 로드되어 있습니다:

  • vocab 및 vocab_size: vocabulary 집합과 그 크기
  • word_to_ix 및 ix_to_word: 단어-인덱스, 인덱스-단어 매핑을 위한 딕셔너리
  • input_data 및 target_data: 입력-출력 쌍으로 변환된 데이터셋
  • embedding_dim 및 hidden_dim: 임베딩과 RNN hidden state의 차원

예시 문장을 보려면 콘솔에서 data 변수를 확인해 보세요.

지침

100 XP
  • 주어진 embedding_dim으로 vocabulary용 임베딩 레이어를 만드세요.
  • RNN 시퀀스 출력을 선형 변환해 어텐션 스코어를 구하세요.
  • 스코어로부터 어텐션 가중치를 구하세요.
  • RNN 출력과 어텐션 가중치의 가중합으로 컨텍스트 벡터를 계산하세요.