रैंडम सर्च लागू करना
हाइपरपैरामीटर सर्च अलग-अलग हाइपरपैरामीटर मानों पर प्रयोग करने का एक कम्प्यूटेशनल रूप से महँगा तरीका है. लेकिन इससे परफॉर्मेंस में सुधार हो सकता है. इस अभ्यास में, आप एक रैंडम सर्च एल्गोरिदम लागू करेंगे.
आप लर्निंग रेट और मोमेंटम के 10-10 मानों को यूनिफॉर्म डिस्ट्रीब्यूशन से रैंडम सैंपल करेंगे. इसके लिए, आप np.random.uniform() फंक्शन का उपयोग करेंगे.
numpy पैकेज पहले से np नाम से इम्पोर्ट किया गया है, और आपके परिणामों को विज़ुअलाइज़ करने के लिए plot_hyperparameter_search() फंक्शन बनाया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ Deep Learning परिचय
अभ्यास निर्देश
2और4के बीच एक लर्निंग रेट factor को रैंडमली सैंपल करें ताकि लर्निंग रेट (lr) \(10^{-2}\) और \(10^{-4}\) के बीच बाउंड रहे.- 0.85 और 0.99 के बीच एक मोमेंटम को रैंडमली सैंपल करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
values = []
for idx in range(10):
# Randomly sample a learning rate factor between 2 and 4
factor = ____
lr = 10 ** -factor
# Randomly select a momentum between 0.85 and 0.99
momentum = ____
values.append((lr, momentum))
plot_hyperparameter_search(values)