Один шаг обратного распространения
В показанной ниже сети выполнено прямое распространение. Значения, вычисленные в ходе прямого распространения, отображены белым цветом, а веса — чёрным. В слоях после знака вопроса показаны градиенты, вычисленные в ходе обратного распространения, а не значения прямого прохода. Эти значения градиентов отображены фиолетовым цветом.
В данной сети используется функция активации ReLU, поэтому наклон функции активации равен 1 для любого узла, получающего положительное входное значение. Предположим, что рассматриваемый узел получил положительное значение (то есть наклон функции активации равен 1).
Чему равен градиент, необходимый для обновления веса, обозначенного знаком вопроса?
Это упражнение является частью курса
Введение в глубокое обучение на Python
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение