1. Learn
    2. /
  2. Cursuri
    3. /
  3. Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras
Connected

exercițiu

Vấn đề gradient bùng nổ

Trong bài tập video, bạn đã học về hai vấn đề có thể xảy ra khi làm việc với mô hình RNN: gradient tiêu biến và gradient bùng nổ.

Bài tập này đào sâu vấn đề gradient bùng nổ, cho thấy đạo hàm của một hàm có thể tăng theo cấp số nhân, và cách giải quyết bằng một kỹ thuật đơn giản.

Dữ liệu đã được nạp sẵn trong môi trường dưới các biến X_train, X_test, y_train và y_test.

Bạn sẽ dùng bộ tối ưu hóa Stochastic Gradient Descent (SGD) và Mean Squared Error (MSE) làm hàm mất mát.

Ở bước đầu tiên, bạn sẽ quan sát gradient bùng nổ bằng cách tính MSE trên tập train và test. Ở bước 2, bạn sẽ thay đổi bộ tối ưu hóa bằng cách dùng tham số clipvalue để giải quyết vấn đề.

Stochastic Gradient Descent trong Keras được nạp dưới tên SGD.

Instrucțiuni 1/2

undefined XP
    1
    2
  • Dùng SGD() làm bộ tối ưu hóa và (X_test, y_test) làm dữ liệu kiểm định.
  • Đánh giá hiệu năng trên tập train và in ra tất cả các giá trị MSE.