Předzpracování textu
Než začneš budovat doporučovací systém nebo jakýkoli jiný model, je potřeba text nejprve předzpracovat.
Máš k dispozici úryvek textu ze Sherlocka Holmese. Předzpracuj ho pomocí různých technik představených ve videu, aby byl připravený na další analýzu.
Proměnná text obsahuje úryvek z knihy Pes baskervillský od Arthura Conana Doyla.
Následující balíčky a funkce jsou již načteny:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Toto cvičení je součástí kurzu
Deep Learning for Text with PyTorch
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)