मल्टी-हेड अटेंशन लागू करना
अपनी खुद की MultiHeadAttention क्लास बनाना शुरू करने से पहले, आप इस क्लास का उपयोग करके देखेंगे कि यह query, key, और value मैट्रिसेज़ को कैसे ट्रांसफॉर्म करती है. याद रखें कि ये मैट्रिसेज़ इनपुट एम्बेडिंग्स को सीखे गए वेट्स वाली लीनियर ट्रांसफॉर्मेशंस से प्रोजेक्ट करके बनाई जाती हैं.
query, key, और value मैट्रिसेज़ आपके लिए पहले से बनाई गई हैं, और MultiHeadAttention भी आपके लिए परिभाषित है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PyTorch के साथ Transformer Models
अभ्यास निर्देश
- आठ अटेंशन हेड्स और
512डायमेंशनलिटी वाली इनपुट एम्बेडिंग्स के लिए अटेंशन पैरामीटर्स परिभाषित करें. - परिभाषित पैरामीटर्स का उपयोग करते हुए
MultiHeadAttentionक्लास का एक इंस्टेंस बनाएँ. query,key, औरvalueमैट्रिसेज़ कोmultihead_attnमैकेनिज़्म से पास करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Define attention parameters
d_model = ____
num_heads = ____
# Instantiate a MultiHeadAttention instance
multihead_attn = ____
# Pass the query, key, and value matrices through the mechanism
output = ____
print(output.shape)