1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras
Connected

Bài tập

Vấn đề tiêu biến gradient

Một vấn đề gradient khác là khi gradient tiêu biến, tức tiến về 0. Đây là vấn đề khó xử lý hơn nhiều vì không dễ phát hiện. Nếu hàm loss không cải thiện ở mỗi bước, có phải do gradient về 0 nên trọng số không được cập nhật? Hay do mô hình không học được?

Vấn đề này xảy ra thường xuyên hơn ở các mô hình RNN khi cần bộ nhớ dài hạn (các câu rất dài).

Trong bài tập này, bạn sẽ quan sát vấn đề trên dữ liệu IMDB với các câu dài hơn đã được chọn. Dữ liệu đã được nạp vào biến X và y, cùng với các lớp Sequential, SimpleRNN, Dense và matplotlib.pyplot dưới tên plt. Mô hình đã được huấn luyện trước 100 epoch, trọng số và lịch sử huấn luyện được lưu trong tệp model_weights.h5 và biến history.

Hướng dẫn

100 XP
  • Thêm một tầng SimpleRNN vào mô hình.
  • Nạp trọng số đã huấn luyện sẵn vào mô hình bằng phương thức .load_weights().
  • Thêm độ chính xác của dữ liệu huấn luyện có trong thuộc tính 'acc' vào biểu đồ.
  • Hiển thị biểu đồ bằng phương thức .show().