Pré-processamento de texto
Construir um sistema de recomendação, ou qualquer modelo, exige pré-processar o texto primeiro.
Um trecho de texto de Sherlock Holmes foi carregado aqui. Pré-processe esse texto usando as técnicas apresentadas no vídeo para prepará-lo para análises posteriores.
A variável text é um trecho de The Hound of the Baskervilles, de Arthur Conan Doyle.
Os seguintes pacotes e funções já foram carregados para você:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Este exercício faz parte do curso
Deep Learning para Texto com PyTorch
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)