1. Learn
    2. /
  2. Courses
    3. /
  3. Nhập môn TensorFlow bằng Python
Connected

Exercise

Tránh rơi vào điểm cực tiểu cục bộ

Bài trước cho thấy việc mắc kẹt ở các cực tiểu cục bộ dễ như thế nào. Ta có một bài toán tối ưu đơn giản với một biến nhưng gradient descent vẫn không tìm được cực tiểu toàn cục khi phải đi qua các cực tiểu cục bộ trước. Một cách để tránh vấn đề này là dùng momentum, giúp optimizer “vượt qua” các cực tiểu cục bộ. Bạn sẽ tiếp tục dùng hàm loss từ bài trước, đã được định nghĩa sẵn và có sẵn cho bạn dưới tên loss_function().

Đồ thị của một hàm một biến có nhiều cực tiểu cục bộ và một cực tiểu toàn cục.

Nhiều optimizer trong tensorflow có tham số momentum, bao gồm SGD và RMSprop. Trong bài này, bạn sẽ dùng RMSprop. Lưu ý lần này x_1 và x_2 đều được khởi tạo cùng một giá trị. Ngoài ra, keras.optimizers.RMSprop() cũng đã được import sẵn từ tensorflow cho bạn.

Instructions

100 XP
  • Thiết lập toán tử opt_1 với learning rate 0.01 và momentum 0.99.
  • Thiết lập opt_2 dùng optimizer root mean square propagation (RMS) với learning rate 0.01 và momentum 0.00.
  • Định nghĩa thao tác tối ưu hóa (minimization) cho opt_2.
  • In x_1 và x_2 dưới dạng mảng numpy.