1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Deep Learning cho Văn bản với PyTorch
Connected

Bài tập

Huấn luyện và kiểm thử mô hình Transformer

Với mô hình TransformerEncoder đã sẵn sàng, bước tiếp theo tại PyBooks là huấn luyện mô hình trên một số đánh giá mẫu và đánh giá hiệu năng của nó. Việc huấn luyện trên các đánh giá mẫu sẽ giúp PyBooks nắm được xu hướng cảm xúc trong kho dữ liệu đồ sộ của họ. Khi đạt được một mô hình hoạt động tốt, PyBooks có thể tự động hóa phân tích cảm xúc, giúp độc giả nhận được gợi ý và phản hồi sâu sắc.

Các gói sau đã được nhập sẵn cho bạn: torch, nn, optim.

Thực thể model của lớp TransformerEncoder, token_embeddings, cùng với train_sentences, train_labels, test_sentences, test_labels đã được tải sẵn cho bạn.

Hướng dẫn

100 XP
  • Trong vòng lặp huấn luyện, tách câu thành các token và xếp chồng (stack) các embedding.
  • Đưa gradient về 0 và thực hiện lan truyền ngược (backward).
  • Trong hàm predict, tắt tính toán gradient rồi lấy dự đoán cảm xúc.