टोकनाइज़ेशन को मैप करना
अब आप टोकनाइज़ेशन पर अधिक नियंत्रण आज़माना चाहते हैं और डेटा को पंक्तियों या बैचों में टोकनाइज़ करने की कोशिश करेंगे। इससे आपको एक DataSet ऑब्जेक्ट भी मिलेगा, जो प्रशिक्षण के लिए आवश्यक है.
tokenizer आपके लिए लोड कर दिया गया है और डेटा train_data और test_data के रूप में उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में LLMs का परिचय
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____