Gettysburg Address का टोकनाइज़ेशन
इस अभ्यास में, आप सभी समय के सबसे प्रसिद्ध भाषणों में से एक — Gettysburg Address — का टोकनाइज़ेशन करेंगे, जिसे अमेरिकी गृहयुद्ध के दौरान अमेरिकी राष्ट्रपति अब्राहम लिंकन ने दिया था.
पूरा भाषण gettysburg नाम की string के रूप में उपलब्ध है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में NLP के लिए Feature Engineering
अभ्यास निर्देश
spacy.load()का उपयोग करकेen_core_web_smमॉडल लोड करें.gettysburgstring के लिए एक Doc ऑब्जेक्टdocबनाएँ.- लिस्ट कॉम्प्रिहेंशन का उपयोग करके
docपर लूप चलाएँ और token टेक्स्ट जनरेट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
import spacy
# Load the en_core_web_sm model
nlp = ____.____(____)
# Create a Doc object
doc = ____(____)
# Generate the tokens
tokens = [token.____ for token in ____]
print(tokens)