Tạo mô hình RNN có attention

Tại PyBooks, nhóm đang khám phá nhiều kiến trúc deep learning khác nhau. Sau khi nghiên cứu, bạn quyết định triển khai một RNN với cơ chế Attention để dự đoán từ tiếp theo trong câu. Bạn được cung cấp một bộ dữ liệu gồm các câu và một vocabulary được tạo từ đó.

Các gói sau đã được import sẵn: torch, nn.

Các biến sau đã được nạp sẵn:

vocab và vocab_size: tập từ vựng và kích thước của nó
word_to_ix và ix_to_word: từ điển ánh xạ từ → chỉ số và chỉ số → từ
input_data và target_data: dữ liệu đã chuyển đổi thành các cặp đầu vào–đầu ra
embedding_dim và hidden_dim: kích thước cho embedding và trạng thái ẩn của RNN

Bạn có thể kiểm tra biến data trong bảng điều khiển để xem các câu ví dụ.

Tạo một tầng embedding cho vocabulary với embedding_dim đã cho.
Áp dụng phép biến đổi tuyến tính lên đầu ra chuỗi của RNN để lấy attention score.
Lấy attention weight từ các score này.
Tính context vector như tổng có trọng số của các đầu ra RNN và các attention weight.