1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Předzpracování textu

Než začneš budovat doporučovací systém nebo jakýkoli jiný model, je potřeba text nejprve předzpracovat.

Máš k dispozici úryvek textu ze Sherlocka Holmese. Předzpracuj ho pomocí různých technik představených ve videu, aby byl připravený na další analýzu.

Proměnná text obsahuje úryvek z knihy Pes baskervillský od Arthura Conana Doyla.

Následující balíčky a funkce jsou již načteny: nltk, torch, get_tokenizer, PorterStemmer, stopwords.

Pokyny 1/3

undefined XP
    1
    2
    3
  • Inicializuj tokenizer s hodnotou "basic_english".
  • Tokenizuj proměnnou text pomocí tokenizeru.