DDQN में ऑनलाइन नेटवर्क और टारगेट नेटवर्क

Double DQN में, जैसे फिक्स्ड Q-targets वाले DQN में होता है, दो न्यूरल नेटवर्क काम करते हैं: ऑनलाइन नेटवर्क और टारगेट नेटवर्क। DDQN ट्रेनिंग लूप में इन दोनों के उद्देश्य और उनकी भूमिकाएँ समझना महत्वपूर्ण है.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में Deep Reinforcement Learning

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें

अभ्यास शुरू करें

यह अभ्यास पाठ्यक्रम का हिस्सा है

Python में Deep Reinforcement Learning

SkillTag.level.advancedSkillTag.label

4.8+

पाठ्यक्रम मुफ्त में शुरू करें

जानें कि deep reinforcement learning किस तरह पारंपरिक Reinforcement Learning को बेहतर बनाता है, और अपना पहला Deep Q Learning एल्गोरिदम पढ़ते व इम्प्लीमेंट करते हुए शुरू करें.

Exercise 1: डीप रिइन्फोर्समेंट लर्निंग का परिचय Exercise 2: एंवायरनमेंट और न्यूरल नेटवर्क सेटअप Exercise 3: DRL training loop Exercise 4: डीप Q लर्निंग का परिचय Exercise 5: डीप लर्निंग और DQN Exercise 6: Q-Network आर्किटेक्चर Exercise 7: Q-Network को इंस्टैंशिएट करना Exercise 8: बेसिक DQN एल्गोरिदम Exercise 9: Barebone DQN में action चयन Exercise 10: Barebone DQN लॉस फंक्शन Exercise 11: Barebone DQN का प्रशिक्षण

Experience Replay, epsilon-greediness और fixed Q-targets सहित मूल DQN एल्गोरिदम को इम्प्लीमेंट करते हुए Deep Q-learning में गहराई से उतरें। DQN के आगे, आप दो दिलचस्प एक्सटेंशन्स भी देखेंगे जो Deep Q-learning के प्रदर्शन और स्थिरता को सुधारते हैं: Double DQN और Prioritized Experience Replay.

Exercise 1: Experience Replay के साथ DQN Exercise 2: डबल-एंडेड क्यू Exercise 3: एक्सपीरियंस रिप्ले बफ़र Exercise 4: Experience Replay के साथ DQN Exercise 5: पूरा DQN एल्गोरिदम Exercise 6: Epsilon-greediness Exercise 7: Fixed Q-targets Exercise 8: पूरे DQN एल्गोरिदम को इम्प्लीमेंट करना Exercise 9: डबल DQN Exercise 10: DDQN में ऑनलाइन नेटवर्क और टारगेट नेटवर्क

वर्तमान अभ्यास

Exercise 11: Double DQN का प्रशिक्षण Exercise 12: प्रायोरिटाइज़्ड एक्सपीरियंस रिप्ले Exercise 13: Prioritized experience replay बफ़र Exercise 14: PER बफर से सैंपलिंग Exercise 15: Prioritized experience replay के साथ DQN

DRL में मिलने वाले policy gradient तरीकों की बुनियादी अवधारणाएँ सीखें। आप policy gradient theorem से शुरुआत करेंगे, जो इन तरीकों की नींव है। फिर आप REINFORCE एल्गोरिदम इम्प्लीमेंट करेंगे, जो पॉलिसीज़ सीखने का एक शक्तिशाली तरीका है। अध्याय आगे Actor-Critic तरीकों तक ले जाएगा, खासकर Advantage Actor-Critic (A2C) एल्गोरिदम पर, जो policy gradient और value-based दोनों तरीकों की खूबियों को जोड़कर learning की दक्षता और स्थिरता बढ़ाता है.

Exercise 1: पॉलिसी ग्रेडिएंट का परिचय Exercise 2: पॉलिसी नेटवर्क आर्किटेक्चर Exercise 3: डिस्क्रीट डिस्ट्रीब्यूशंस के साथ काम करना Exercise 4: पॉलिसी ग्रेडिएंट और REINFORCE Exercise 5: REINFORCE में एक्शन चयन Exercise 6: REINFORCE एल्गोरिदम को ट्रेन करना Exercise 7: Advantage Actor-Critic Exercise 8: Critic नेटवर्क Exercise 9: Actor-Critic loss गणनाएँ Exercise 10: A2C एल्गोरिदम को ट्रेन करना

Proximal Policy Optimization (PPO) का अध्ययन करें ताकि DRL का प्रदर्शन मज़बूत हो। इसके बाद आप PPO में entropy bonus के उपयोग को देखेंगे, जो deterministic पॉलिसीज़ पर समय से पहले पहुँचने से रोककर exploration को प्रोत्साहित करता है। आप policy gradient तरीकों में batch updates के बारे में भी सीखेंगे। अंत में, आप Optuna के साथ hyperparameter optimization सीखेंगे, जो आपके DRL मॉडलों के प्रदर्शन को बेहतर बनाने का एक शक्तिशाली टूल है.

Exercise 1: Proximal policy optimization Exercise 2: Clipped probability ratio Exercise 3: Clipped surrogate objective function Exercise 4: एंट्रॉपी बोनस और PPO Exercise 5: एंट्रॉपी प्लेग्राउंड Exercise 6: PPO एल्गोरिदम को ट्रेन करना Exercise 7: पॉलिसी ग्रेडिएंट में बैच अपडेट्स Exercise 8: मिनीबैच और DRL Exercise 9: बैच अपडेट्स के साथ A2C Exercise 10: Optuna के साथ हाइपरपैरामीटर ऑप्टिमाइज़ेशन Exercise 11: हाइपरपैरामीटर है या नहीं?Exercise 12: Optuna के साथ हैंड्स-ऑन Exercise 13: बधाई हो!