लोकल मिनिमा के खतरे
निम्नलिखित loss फंक्शन loss_function() के प्लॉट पर विचार करें, जिसमें दाएँ तरफ बिंदु से दर्शाया गया एक global minimum है, और कई local minima हैं, जिनमें बाँईं तरफ बिंदु से दर्शाया गया एक local minimum भी शामिल है.
इस अभ्यास में, आप keras.optimizers.SGD() का उपयोग करके loss_function() का global minimum खोजने की कोशिश करेंगे. आप यह दो बार करेंगे, हर बार loss_function() के इनपुट का अलग initial मान लेते हुए. पहले, आप x_1 का उपयोग करेंगे, जो 6.0 के initial मान वाला एक वैरिएबल है. दूसरे, आप x_2 का उपयोग करेंगे, जो 0.3 के initial मान वाला एक वैरिएबल है. ध्यान दें कि loss_function() परिभाषित है और उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में TensorFlow परिचय
अभ्यास निर्देश
optको stochastic gradient descent optimizer (SGD) के साथ 0.01 की learning rate पर सेट करें.- loss फंक्शन
loss_function()और 6.0 के initial मान वाले वैरिएबलx_1का उपयोग करके minimization करें. - loss फंक्शन
loss_function()और 0.3 के initial मान वाले वैरिएबलx_2का उपयोग करके minimization करें. x_1औरx_2कोnumpyarrays के रूप में प्रिंट करें और जाँचें कि क्या मान अलग हैं. ये वे minima हैं जिन्हें एल्गोरिदम ने पहचाना.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Initialize x_1 and x_2
x_1 = Variable(6.0,float32)
x_2 = Variable(0.3,float32)
# Define the optimization operation
opt = keras.optimizers.____(learning_rate=____)
for j in range(100):
# Perform minimization using the loss function and x_1
opt.minimize(lambda: loss_function(____), var_list=[____])
# Perform minimization using the loss function and x_2
opt.minimize(lambda: ____, var_list=[____])
# Print x_1 and x_2 as numpy arrays
print(____.numpy(), ____.numpy())