Operadores de string com dados do Twitter
Você vai continuar trabalhando com os dados tweets, em que a coluna text armazena o conteúdo de cada tweet.
Sua tarefa é transformar a coluna text em uma lista de tokens. Depois, usando operadores de string, remova todos os caracteres não alfabéticos da lista de tokens criada.
Este exercício faz parte do curso
Análise de Sentimentos em Python
Instruções do exercício
- Importe a função de tokenização de palavras.
- Crie tokens de palavras para cada tweet.
- Filtre todos os caracteres não alfabéticos da lista criada, ou seja, mantenha apenas letras.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Import the word tokenizing package
____
# Tokenize the text column
word_tokens = [____(review) for review in tweets.text]
print('Original tokens: ', word_tokens[0])
# Filter out non-letter characters
cleaned_tokens = [[word for word in item if ____.____] for item in word_tokens]
print('Cleaned tokens: ', cleaned_tokens[0])