Pipeline de pré-processamento de linguagem shakespeariana
Na PyBooks, a equipe quer transformar uma grande biblioteca de textos de Shakespeare para análises posteriores. A maneira mais eficiente de fazer isso é com um pipeline de processamento de texto, começando pelas etapas de pré-processamento.
Os seguintes itens já foram carregados para você:
torch, nltk, stopwords, PorterStemmer, get_tokenizer.
Os textos de Shakespeare estão salvos em shakespeare e as sentenças já foram extraídas.
Este exercicio faz parte do curso
Deep Learning para Texto com PyTorch
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Create a list of stopwords
stop_words = set(____(____))