शुरू करेंमुफ़्त में शुरू करें

Pretrained PyTorch मॉडल के साथ भाषा अनुवाद

PyBooks में आपकी टीम एक AI प्रोजेक्ट पर काम कर रही है जिसमें एक भाषा से दूसरी भाषा में अनुवाद शामिल है. वे इस कार्य के लिए pre-trained मॉडल्स का लाभ लेना चाहते हैं, जिससे काफी training समय और संसाधन बच सकते हैं. इस अभ्यास में आपका कार्य HuggingFace की Transformers लाइब्रेरी से एक translation मॉडल सेट अप करना है—विशेष रूप से T5 (Text-To-Text Transfer Transformer) मॉडल—और इसका उपयोग करके एक अंग्रेजी वाक्यांश को फ्रेंच में अनुवाद करना है.

T5Tokenizer, T5ForConditionalGeneration आपके लिए लोड कर दिए गए हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग

पाठ्यक्रम देखें

अभ्यास निर्देश

  • pretrained "t5-small" मॉडल से tokenizer और model को initialize करें.
  • tokenizer का उपयोग करके input prompt को encode करें और सुनिश्चित करें कि PyTorch tensors लौटें.
  • model का उपयोग करके input prompt का अनुवाद करें और अनुवादित आउटपुट generate करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)
कोड संपादित करें और चलाएँ