Special tokens जोड़ना
अब आप वाक्यों में sos (शुरुआत का संकेत) और eos (समापन का संकेत) टोकन जोड़ना सीखेंगे। जैसा कि पहले चर्चा की गई थी, यह चरण आपके मौजूदा मॉडल के लिए वैकल्पिक है, लेकिन अगले चैप्टर में आप जिस मॉडल को इम्प्लीमेंट करेंगे, उसके लिए यह ज़रूरी होगा.
इन special tokens को जोड़ने के लिए, आप Python के string.join() फंक्शन का उपयोग करेंगे। string.join() किसी delimiter का उपयोग करके स्ट्रिंग्स की लिस्ट को एक सिंगल स्ट्रिंग में जोड़ता है। उदाहरण के लिए, यदि आप ['datacamp', 'is', 'awesome'] को 'datacamp is awesome' में बदलना चाहते हैं, तो आप " ".join(['datacamp', 'is', 'awesome']) का उपयोग कर सकते हैं, जहाँ " " (यानी space कैरेक्टर) delimiter है.
इस अभ्यास के लिए, 10 फ्रेंच वाक्यों का एक छोटा सैंपल पहले से इम्पोर्ट किया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Keras के साथ Machine Translation
अभ्यास निर्देश
- फ्रेंच वाक्यों (
fr_text) की लिस्ट पर लूप चलाइए. - हर वाक्य की शुरुआत दर्शाने के लिए
"sos"और अंत दर्शाने के लिए"eos"टोकन कोstring.join()फंक्शन से जोड़िए. - परिवर्तित वाक्य को
fr_text_newमें append कीजिए. - परिवर्तित वाक्य
sent_newको प्रिंट कीजिए.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
fr_text_new = []
# Loop through all sentences in fr_text
for sent in ____:
print("Before adding tokens: ", sent)
# Add sos and eos tokens using string.join
sent_new = " ".____([____, sent, ____])
# Append the modified sentence to fr_text_new
____.____(____)
# Print sentence after adding tokens
print("After adding tokens: ", ____, '\n')