1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Deep Learning cho Văn bản với PyTorch
Connected

Bài tập

Tạo mô hình transformer

Tại PyBooks, hệ thống gợi ý mà bạn đang phát triển cần khả năng hiểu sắc thái cảm xúc trong các bài đánh giá của người dùng tốt hơn. Bạn tin rằng việc dùng transformers — một kiến trúc tối tân — sẽ giúp đạt được điều đó. Bạn quyết định xây dựng một mô hình transformer có thể mã hóa cảm xúc trong các bài đánh giá để khởi động dự án.

Các gói sau đã được nhập sẵn cho bạn: torch, nn, optim.

Dữ liệu đầu vào gồm các câu như: "I love this product", "This is terrible", "Could be better" … và các nhãn cảm xúc nhị phân tương ứng như: 1, 0, 0, ...

Dữ liệu đầu vào được chia và chuyển thành embeddings trong các biến sau: train_sentences, train_labels, test_sentences, test_labels, token_embeddings

Hướng dẫn

100 XP
  • Khởi tạo transformer encoder.
  • Định nghĩa lớp fully connected dựa trên số lớp cảm xúc.
  • Trong phương thức forward, truyền đầu vào qua transformer encoder rồi đến lớp tuyến tính.