spaCy के साथ टेक्स्ट प्रोसेसिंग
हर NLP एप्लिकेशन में टेक्स्ट प्रोसेसिंग के कई स्टेप्स होते हैं। आपने इनमें से कुछ स्टेप्स पहले ही सीखे हैं, जैसे tokenization, lemmatization, sentence segmentation और named entity recognition.
इस अभ्यास में, आप spaCy में टेक्स्ट प्रोसेसिंग स्टेप्स का और अभ्यास करेंगे, जैसे टेक्स्ट को वाक्यों में तोड़ना और named entities निकालना। इसके लिए आप Amazon Fine Food Reviews डेटासेट की पहली पाँच समीक्षाएँ उपयोग करेंगे। आप इन समीक्षाओं तक texts ऑब्जेक्ट का उपयोग करके पहुँच सकते हैं.
en_core_web_sm मॉडल आपके लिए पहले से लोड है, और आप इसे nlp के ज़रिए एक्सेस कर सकते हैं। texts के प्रत्येक आइटम के लिए Doc कंटेनरों की सूची भी प्रीलोड है और documents पर उपलब्ध है।
यह अभ्यास पाठ्यक्रम का हिस्सा है
spaCy के साथ Natural Language Processing
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create a list to store sentences of each Doc container in documents
sentences = [[____ for sent in doc.____] for doc in documents]
# Print number of sentences in each Doc container in documents
num_sentences = [len(____) for s in sentences]
print("Number of sentences in documents:\n", ____)