ćwiczenie

Przetwarzanie tekstu

Budowa systemu rekomendacji – jak zresztą każdego modelu – wymaga wcześniejszego przetworzenia tekstu.

Załadowano tu fragment tekstu z Sherlocka Holmesa. Przetwórz ten tekst, korzystając z różnych technik omówionych w filmie, aby przygotować go do dalszej analizy.

Zmienna text zawiera fragment powieści Pies Baskerville'ów Arthura Conana Doyle'a.

Następujące pakiety i funkcje zostały już załadowane: nltk, torch, get_tokenizer, PorterStemmer, stopwords.

Instrukcje 1/3

undefined XP

1

2

3

Zainicjalizuj tokenizator, podając "basic_english".
Dokonaj tokenizacji zmiennej text za pomocą tokenizatora.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje 1/3

ćwiczenie