1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Deep Learning cho Văn bản với PyTorch
Connected

Bài tập

Huấn luyện và kiểm thử mô hình RNN với attention

Tại PyBooks, nhóm trước đó đã xây dựng một mô hình RNN dự đoán từ mà không có cơ chế attention. Mô hình ban đầu này, gọi là rnn_model, đã được huấn luyện và phiên bản của nó đã được nạp sẵn. Nhiệm vụ của bạn bây giờ là huấn luyện RNNWithAttentionModel mới và so sánh dự đoán của nó với rnn_model trước đó.

Những nội dung sau đã được nạp sẵn cho bạn:

  • inputs: danh sách các chuỗi đầu vào dưới dạng tensor
  • targets: tensor chứa các từ mục tiêu cho mỗi chuỗi đầu vào
  • optimizer: hàm tối ưu Adam
  • criterion: hàm CrossEntropyLoss
  • pad_sequences: hàm đệm (pad) các chuỗi đầu vào để tạo batch
  • attention_model: lớp mô hình đã định nghĩa từ bài trước
  • rnn_model: mô hình RNN đã được nhóm PyBooks huấn luyện

Hướng dẫn

100 XP
  • Đặt mô hình RNN về chế độ đánh giá trước khi kiểm thử với dữ liệu kiểm thử.
  • Lấy đầu ra của RNN bằng cách đưa đầu vào phù hợp vào mô hình RNN.
  • Trích xuất từ có điểm dự đoán cao nhất từ đầu ra của RNN.
  • Tương tự, với mô hình attention, trích xuất từ có điểm dự đoán cao nhất từ đầu ra của attention.