1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 배우는 텍스트 딥러닝
Connected

연습 문제

어텐션을 적용한 RNN 모델 학습과 테스트

PyBooks 팀은 이전에 어텐션 메커니즘 없이 단어 예측을 위한 RNN 모델을 구축했습니다. 이 초기 모델은 rnn_model로 부르며 이미 학습이 완료되었고 인스턴스가 미리 로드돼 있습니다. 이제 여러분의 과제는 새 RNNWithAttentionModel을 학습한 뒤, 이전 rnn_model의 예측과 비교하는 것입니다.

다음 항목들이 미리 로드되어 있습니다:

  • inputs: 텐서 형태의 입력 시퀀스 목록
  • targets: 각 입력 시퀀스의 타깃 단어를 담은 텐서
  • optimizer: Adam 옵티마이저 함수
  • criterion: CrossEntropyLoss 함수
  • pad_sequences: 배치를 위해 입력 시퀀스를 패딩하는 함수
  • attention_model: 이전 연습 문제에서 정의한 모델 클래스
  • rnn_model: PyBooks 팀이 학습한 RNN 모델

지침

100 XP
  • 테스트 데이터로 평가하기 전에 RNN 모델을 평가 모드로 설정하세요.
  • 적절한 입력을 RNN 모델에 전달해 RNN 출력을 얻으세요.
  • RNN 출력에서 예측 점수가 가장 높은 단어를 추출하세요.
  • 어텐션 모델도 같은 방식으로, 어텐션 출력에서 예측 점수가 가장 높은 단어를 추출하세요.