Một vòng backpropagation

Trong mạng dưới đây, chúng ta đã thực hiện lan truyền xuôi (forward propagation), và các giá trị nút được tính trong quá trình lan truyền xuôi được hiển thị bằng màu trắng. Các trọng số hiển thị bằng màu đen. Các lớp sau dấu hỏi hiển thị các độ dốc được tính trong quá trình lan truyền ngược (back-prop), thay vì các giá trị từ lan truyền xuôi. Các giá trị độ dốc này được hiển thị bằng màu tím.

Mạng này cũng dùng hàm kích hoạt ReLU, vì vậy độ dốc của hàm kích hoạt bằng 1 đối với bất kỳ nút nào nhận giá trị đầu vào dương. Giả sử nút đang xét có giá trị dương (nên độ dốc của hàm kích hoạt bằng 1).

Độ dốc cần để cập nhật trọng số có dấu hỏi là bao nhiêu?