Przetwarzanie tekstu
Budowa systemu rekomendacji – jak zresztą każdego modelu – wymaga wcześniejszego przetworzenia tekstu.
Załadowano tu fragment tekstu z Sherlocka Holmesa. Przetwórz ten tekst, korzystając z różnych technik omówionych w filmie, aby przygotować go do dalszej analizy.
Zmienna text zawiera fragment powieści Pies Baskerville'ów Arthura Conana Doyle'a.
Następujące pakiety i funkcje zostały już załadowane:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
To ćwiczenie jest częścią kursu
Uczenie głębokie dla tekstu z PyTorch
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)