Eliminar stop words

Estás trabajando en un proyecto cuyo objetivo es clasificar el feedback de usuarios en diferentes categorías como "product issues", "service issues" y "suggestions". A menudo, las stop words no aportan mucho significado para distinguir entre categorías. Tu tarea es eliminar estas stop words para centrarte en las palabras importantes que ayudarán a que una máquina clasifique más adelante el feedback en los temas correctos.

Las funciones word_tokenize de nltk.tokenize y stopwords.words de nltk.corpus ya se han importado por ti. Además, los recursos de NLTK punkt_tab y stopwords ya se han descargado.

Este ejercicio forma parte del curso

Natural Language Processing (NLP) en Python

Instrucciones del ejercicio

Tokeniza el feedback proporcionado en palabras.
Obtén la lista de stopwords en inglés.
Elimina las stop words en inglés y guarda el resultado en filtered_tokens.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

feedback = "I reached out to support and got a helpful response within minutes!!! Very #impressed"

# Tokenize the text
tokens = word_tokenize(____)

# Get the list of English stop words
stop_words = stopwords.____('____')

# Remove stop words 
filtered_tokens = [____ for word in tokens if ____.lower() not in ____]

print(filtered_tokens)

Editar y ejecutar código

Este ejercicio forma parte del curso

Natural Language Processing (NLP) en Python

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Aprende lo esencial del procesamiento de texto en Natural Language Processing (NLP). Domina técnicas como la tokenización, la eliminación de stop words y puntuación, y la normalización del texto con conversión a minúsculas, stemming y lematización para preparar los datos de texto de cara a un análisis posterior y a la extracción de insights.

Exercise 1: Introducción al procesamiento del lenguaje natural Exercise 2: Tokenización de oraciones y palabras Exercise 3: Flujo de trabajo de NLP Exercise 4: Gestión de stop words y puntuación Exercise 5: Eliminar stop words

Ejercicio actual

Exercise 6: Eliminar signos de puntuación Exercise 7: Técnicas de normalización de texto Exercise 8: Conversión a minúsculas Exercise 9: Stemming Exercise 10: Lematización

Transforma texto en bruto en potentes características numéricas. Crea representaciones Bag-of-Words y TF-IDF para capturar la importancia de las palabras entre documentos, y luego explora embeddings de palabras como Word2Vec y GloVe para descubrir patrones semánticos profundos. Visualiza frecuencia, relevancia y similitud para dar vida a tus datos de texto.

Exercise 1: Representación Bag-of-Words Exercise 2: Construir el vocabulario a partir de reseñas de clientes Exercise 3: Transformar texto en números con BoW Exercise 4: Análisis de frecuencia de reseñas de productos Exercise 5: Visualizar frecuencias de palabras Exercise 6: Vectorización TF-IDF Exercise 7: Representación TF-IDF de opiniones de producto Exercise 8: Comparando las representaciones BoW y TF-IDF Exercise 9: Embeddings Exercise 10: Explora relaciones entre palabras con embeddings Exercise 11: Visualizar y comparar word embeddings

Aprovecha la potencia de modelos preentrenados para realizar tareas avanzadas de clasificación de texto. Usa pipelines de Hugging Face para análisis de sentimiento, clasificación por temas e inferencia de lenguaje natural. Evalúa la similitud semántica y la corrección gramatical con modelos de última generación, sin tener que construir nada desde cero.

Exercise 1: Pipelines de Hugging Face para análisis de sentimiento Exercise 2: Analizar el sentimiento de una reseña Exercise 3: Clasificar múltiples reseñas por lotes Exercise 4: Comparar modelos con datos de reseñas etiquetados Exercise 5: Clasificación zero-shot y QNLI Exercise 6: Clasificación zero-shot de tickets de soporte Exercise 7: ¿El texto responde a la pregunta?Exercise 8: Similitud de preguntas y corrección gramatical Exercise 9: Detectar preguntas duplicadas Exercise 10: Comprobación de la corrección gramatical

Sumérgete en el núcleo de las aplicaciones modernas de NLP con técnicas de clasificación por tokens y generación de texto. Aprende a extraer entidades y estructuras gramaticales relevantes usando NER y etiquetado PoS. Domina el question answering extractivo y abstractivo, y explora tareas avanzadas de generación como el resumen, la traducción y el modelado del lenguaje con pipelines de Hugging Face.

Exercise 1: Clasificación de tokens Exercise 2: Identificar entidades con nombre en titulares de noticias Exercise 3: Etiquetado gramatical (Part of Speech) para análisis de texto Exercise 4: Preguntas y respuestas Exercise 5: Responder preguntas a partir de descripciones de productos Exercise 6: Generar respuestas naturales con QA abstractiva Exercise 7: Tareas de generación de secuencias Exercise 8: Resumir artículos de noticias para obtener ideas rápidas Exercise 9: Traducir reseñas de clientes al francés Exercise 10: Crear un sistema de autocompletado de búsquedas Exercise 11: ¡Enhorabuena!