शुरू करेंमुफ़्त में शुरू करें

Self-attention के लिए मास्क डिज़ाइन करना

डिकोडर टोकन की भविष्यवाणी करना सीख सके, इसके लिए इनपुट सीक्वेंस को मॉडल करते समय भविष्य के टोकन को मास्क करना ज़रूरी है. आप True और False मानों वाली त्रिभुजाकार मैट्रिक्स के रूप में एक मास्क बनाएँगे, जहाँ ऊपरी विकर्ण (upper diagonal) में False मान होंगे ताकि भविष्य के टोकन शामिल न हों.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PyTorch के साथ Transformer Models

पाठ्यक्रम देखें

अभ्यास निर्देश

  • डिकोडर बॉडी के attention मैकेनिज़्म में भविष्य के टोकन को मास्क करने के लिए tgt_mark नाम की एक Boolean मैट्रिक्स बनाएँ.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

seq_length= 3

# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
  torch.____(1, ____, ____), diagonal=____)
).____()

print(tgt_mask)
कोड संपादित करें और चलाएँ