शुरू करेंमुफ़्त में शुरू करें

Transformer हेड जोड़ना

अब एक ऐसा transformer head डिज़ाइन करने का समय है जिसे sentiment analysis या categorization जैसे classification टास्क में इस्तेमाल किया जा सके। आप एक ClassifierHead क्लास परिभाषित करेंगे, body और head के इंस्टैंस बनाएँगे, और यह जाँचने के लिए कि वे अपेक्षा के अनुसार काम कर रहे हैं, token IDs की एक सीरीज़ दोनों से गुजारेंगे।

नोट: क्योंकि इस मॉडल को अभी ट्रेन नहीं किया गया है, आउटपुट समझ में नहीं आएँगे। लेकिन यह परखना कि आपका कोड इनपुट ले सकता है और अपेक्षित फ़ॉर्म में आउटपुट जेनरेट कर सकता है, एक अच्छा टेस्ट है।

यह अभ्यास पाठ्यक्रम का हिस्सा है

PyTorch के साथ Transformer Models

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Complete the classification head
class ClassifierHead(nn.Module):
    def __init__(self, d_model, num_classes):
        super().__init__()
        self.fc = ____

    def forward(self, x):
        logits = self.fc(x)
        return F.____(logits, dim=-1)
कोड संपादित करें और चलाएँ