टेक्स्ट को वर्गीकृत करने के लिए सैमांटिक समानता
सैमांटिक समानता का मुख्य उद्देश्य शब्दों, वाक्यांशों, वाक्यों, या डॉक्युमेंट्स की जोड़ियों के अर्थों के बीच दूरी को मापना है. उदाहरण के लिए, "car" शब्द "bus" के ज़्यादा करीब है बनिस्बत "cat" के. इस अभ्यास में, आप Amazon Fine Food Reviews के एक उदाहरण टेक्स्ट से शब्द sauce के सबसे मिलते-जुलते वाक्य ढूँढेंगे. आप spacy का उपयोग करके शब्द sauce और दिए गए texts स्ट्रिंग के किसी भी वाक्य के बीच similarity score निकाल सकते हैं और सबसे मिलते-जुलते वाक्य का स्कोर रिपोर्ट कर सकते हैं.
एक texts स्ट्रिंग पहले से लोड है जिसमें सभी रिव्यूज़ का Text डेटा शामिल है. इस अभ्यास के लिए आप en_core_web_md इंग्लिश मॉडल का उपयोग करेंगे जो nlp नाम से पहले से उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
spaCy के साथ Natural Language Processing
अभ्यास निर्देश
- शब्द
sauceऔरtextsके लिएnlpका उपयोग करकेDocकंटेनर जनरेट करें और उन्हें क्रमशःkeyऔरsentencesमें स्टोर करें. textsस्ट्रिंग के प्रत्येक वाक्य के साथ शब्दsauceके similarity scores (दो अंकों तक राउंड किए हुए) की गणना करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Populate Doc containers for the word "sauce" and for "texts" string
key = ____
sentences = ____
# Calculate similarity score of each sentence and a Doc container for the word sauce
semantic_scores = []
for sent in sentences.____:
semantic_scores.append({"score": round(sent.____(____), 2)})
print(semantic_scores)