रैंडम सर्च लागू करना

हाइपरपैरामीटर सर्च अलग-अलग हाइपरपैरामीटर मानों पर प्रयोग करने का एक कम्प्यूटेशनल रूप से महँगा तरीका है. लेकिन इससे परफॉर्मेंस में सुधार हो सकता है. इस अभ्यास में, आप एक रैंडम सर्च एल्गोरिदम लागू करेंगे.

आप लर्निंग रेट और मोमेंटम के 10-10 मानों को यूनिफॉर्म डिस्ट्रीब्यूशन से रैंडम सैंपल करेंगे. इसके लिए, आप np.random.uniform() फंक्शन का उपयोग करेंगे.

numpy पैकेज पहले से np नाम से इम्पोर्ट किया गया है, और आपके परिणामों को विज़ुअलाइज़ करने के लिए plot_hyperparameter_search() फंक्शन बनाया गया है.

2 और 4 के बीच एक लर्निंग रेट factor को रैंडमली सैंपल करें ताकि लर्निंग रेट (lr) \(10^{-2}\) और \(10^{-4}\) के बीच बाउंड रहे.
0.85 और 0.99 के बीच एक मोमेंटम को रैंडमली सैंपल करें.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}अभ्यास

निर्देश

अभ्यास