국소 최소값 피하기

이전 문제에서는 국소 최소값에 얼마나 쉽게 갇힐 수 있는지 확인했어요. 변수가 하나뿐인 간단한 최적화 문제였지만, 먼저 국소 최소값들을 지나가야 했기 때문에 경사 하강법은 전역 최소값을 찾지 못했죠. 이 문제를 피하는 한 가지 방법은 momentum을 사용하는 것으로, 최적화기가 국소 최소값을 뚫고 나가도록 도와줘요. 이번에도 이전 문제의 손실 함수를 그대로 사용하며, loss_function()으로 정의되어 제공돼요.

여러 개의 국소 최소값과 하나의 전역 최소값을 가진 단일 변수 함수의 그래프.

tensorflow의 여러 옵티마이저에는 SGD와 RMSprop처럼 momentum 매개변수가 있어요. 이 연습에서는 RMSprop을 사용할 거예요. 이번에는 x_1과 x_2가 동일한 값으로 초기화되어 있다는 점에 유의하세요. 또한 keras.optimizers.RMSprop()은 tensorflow에서 이미 임포트되어 있어요.

opt_1 연산을 학습률 0.01, momentum 0.99로 설정하세요.
opt_2를 학습률 0.01, momentum 0.00인 RMSprop(제곱평균제곱근 전파) 옵티마이저로 설정하세요.
opt_2에 대한 최소화 연산을 정의하세요.
x_1과 x_2를 numpy 배열로 출력하세요.

अभ्यास

국소 최소값 피하기

निर्देश

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}अभ्यास

निर्देश

अभ्यास