Exploding gradient समस्या
वीडियो अभ्यास में, आपने RNN मॉडलों के साथ काम करते समय आने वाली दो समस्याओं के बारे में सीखा: vanishing और exploding gradient समस्याएँ.
यह अभ्यास exploding gradient समस्या की जाँच करता है, दिखाता है कि किसी फंक्शन का डेरिवेटिव कैसे घातीय रूप से बढ़ सकता है, और इसे एक सरल तकनीक से कैसे सुलझाएँ.
डेटा पहले से ही वातावरण में X_train, X_test, y_train और y_test के रूप में लोड है.
आप Stochastic Gradient Descent (SGD) ऑप्टिमाइज़र और Mean Squared Error (MSE) को loss फंक्शन के रूप में उपयोग करेंगे.
पहले चरण में आप train और test सेट पर MSE गणना करके gradient के exploding होने को देखेंगे. चरण 2 में, आप समस्या को हल करने के लिए clipvalue पैरामीटर का उपयोग करते हुए ऑप्टिमाइज़र बदलेंगे.
Keras में Stochastic Gradient Descent SGD के रूप में उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create a Keras model with one hidden Dense layer
model = Sequential()
model.add(Dense(25, input_dim=20, activation='relu', kernel_initializer=he_uniform(seed=42)))
model.add(Dense(1, activation='linear'))
# Compile and fit the model
model.compile(loss='mean_squared_error', optimizer=____(learning_rate=0.01, momentum=0.9))
history = model.fit(X_train, y_train, validation_data=(____, ____), epochs=100, verbose=0)
# See Mean Square Error for train and test data
train_mse = model.____(X_train, y_train, verbose=0)
test_mse = model.evaluate(X_test, y_test, verbose=0)
# Print the values of MSE
print('Train: %.3f, Test: %.3f' % (____, ____))