Pré-processamento de texto
Construir um sistema de recomendação, ou qualquer modelo, exige pré-processar o texto primeiro.
Um trecho de texto de Sherlock Holmes foi carregado aqui. Pré-processe esse texto usando as técnicas apresentadas no vídeo para prepará-lo para análises posteriores.
A variável text é um trecho de The Hound of the Baskervilles, de Arthur Conan Doyle.
Os seguintes pacotes e funções já foram carregados para você:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Este exercicio faz parte do curso
Deep Learning para Texto com PyTorch
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)