Representación TF-IDF de los comentarios sobre los productos

Trabajas en el equipo de atención al cliente de una empresa de domótica. Han recopilado opiniones de usuarios sobre una amplia gama de dispositivos inteligentes y quieren identificar qué palabras destacan en cada reseña. Sugieres utilizar la técnica TF-IDF para resaltar los términos más relevantes en las entradas de comentarios. ¡Ayudémosles a empezar!

Se ha precargado una función preprocess() que recibe un texto y devuelve otro procesado. Esta función aplica minúsculas, tokenización y eliminación de puntuación. Pandas se ha importado como pd, y la clase TfidfVectorizer está lista para su uso.

Este ejercicio forma parte del curso

Procesamiento del lenguaje natural (NLP) en Python

Instrucciones del ejercicio

Inicializa un TF-IDF vectorizer.
Transforma las reseñas limpias en un tfidf_matrix .
Crea un DataFrame df para tfidf_matrix, con las palabras del vocabulario como columnas.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

reviews = ["The smart speaker is incredible. Clear sound and fast responses!",
           "I am disappointed with the smart bulb. It stopped working in a week.",
           "The thermostat is okay. Not too smart, but functional."]
cleaned_reviews = [preprocess(review) for review in reviews]

# Initialize the vectorizer
vectorizer = ____
# Transform the cleaned reviews
tfidf_matrix = ____
# Create a DataFrame for TF-IDF
df = pd.DataFrame(
  tfidf_matrix.toarray(),
  columns=vectorizer.____
)
print(df.head())

Editar y ejecutar código

Este ejercicio forma parte del curso

Procesamiento del lenguaje natural (NLP) en Python

IntermedioNivel de habilidad

4.8+

Comienza el curso gratis

Aprende los conceptos básicos del procesamiento de texto en el procesamiento del lenguaje natural (NLP). Domina técnicas como la tokenización, la eliminación de palabras vacías y signos de puntuación, y la normalización de texto con conversión a minúsculas, stemming y lematización para preparar los datos de texto para su posterior análisis y extracción de información.

Exercise 1: Introducción al procesamiento del lenguaje natural Exercise 2: Tokenización de oraciones y palabras Exercise 3: Flujo de trabajo de PNL Exercise 4: Manejo de palabras vacías y puntuación Exercise 5: Eliminación de palabras vacías Exercise 6: Eliminar puntuación Exercise 7: Técnicas de normalización de texto Exercise 8: Minusculización Exercise 9: Derivación Exercise 10: Lematización

Transforma texto sin formato en potentes características numéricas. Crea representaciones Bag-of-Words y TF-IDF para capturar la importancia de las palabras en los documentos y, a continuación, explora incrustaciones de palabras como Word2Vec y GloVe para descubrir patrones semánticos profundos. Visualiza la frecuencia, la relevancia y la similitud para dar vida a tus datos de texto.

Exercise 1: Representación Bag-of-Words Exercise 2: Amplía tu vocabulario a partir de las opiniones de los clientes Exercise 3: Transformar texto en números con BoW Exercise 4: Análisis de frecuencia de las reseñas de productos Exercise 5: Visualización de frecuencias de palabras Exercise 6: Vectorización TF-IDF Exercise 7: Representación TF-IDF de los comentarios sobre los productos

Ejercicio actual

Exercise 8: Comparación entre las representaciones BoW y TF-IDF Exercise 9: Incrustaciones Exercise 10: Explorar las relaciones entre palabras con incrustaciones Exercise 11: Visualización y comparación de incrustaciones de palabras

Aprovecha la potencia de los modelos preentrenados para realizar tareas avanzadas de clasificación de texto. Utiliza los procesos de Hugging Face para el análisis de sentimientos, la clasificación de temas y la inferencia del lenguaje natural. Evalúa la similitud semántica y la corrección gramatical con modelos de última generación, sin necesidad de crear nada desde cero.

Exercise 1: Pipelines de Hugging Face para el análisis de sentimientos Exercise 2: Analizar el sentimiento de una reseña Exercise 3: Clasificación por lotes de varias reseñas Exercise 4: Comparación de modelos en datos de reseñas etiquetados Exercise 5: Clasificación sin entrenamiento previo y QNLI Exercise 6: Clasificación sin entrenamiento previo de tickets de soporte técnico Exercise 7: ¿El texto responde a la pregunta?Exercise 8: Similitud entre preguntas y corrección gramatical Exercise 9: Detección de preguntas duplicadas Exercise 10: Comprobación de la corrección gramatical

Sumérgete en el núcleo de las aplicaciones modernas de la PNL con técnicas de clasificación de tokens y generación de texto. Aprende a extraer entidades significativas y estructuras gramaticales utilizando el etiquetado NER y PoS. Domina la respuesta a preguntas extractivas y abstractivas, y explora tareas avanzadas de generación, como la síntesis, la traducción y el modelado del lenguaje, utilizando los procesos de Hugging Face.

Exercise 1: Clasificación de tokens Exercise 2: Identificación de entidades nombradas en titulares de noticias Exercise 3: Etiquetado de partes del discurso para el análisis de texto Exercise 4: Respuesta a preguntas Exercise 5: Responder preguntas sobre las descripciones de los productos Exercise 6: Generación de respuestas naturales con preguntas y respuestas abstractas Exercise 7: Tareas de generación de secuencias Exercise 8: Resumen de artículos periodísticos para obtener información rápida Exercise 9: Traducir opiniones de clientes al francés Exercise 10: Creación de un sistema de autocompletado de búsquedas Exercise 11: ¡Enhorabuena!