Preprocesamiento de texto
Crear un sistema de recomendación, o cualquier modelo, requiere que el texto se preprocese primero.
Aquí se carga un bloque de texto de Sherlock Holmes. Preprocesa este texto utilizando las distintas técnicas presentadas en el vídeo para prepararlo para un análisis posterior.
La variable text es un extracto de El sabueso de los Baskerville de Arthur Conan Doyle.
Se han cargado para ti los siguientes paquetes y funciones:
nltk, torch, get_tokenizer, PorterStemmer, stopwords.
Este ejercicio forma parte del curso
Deep Learning para texto con PyTorch
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Initialize and tokenize the text
tokenizer = ____("basic_english")
tokens = ____(____)
print(tokens)