1. Aprende
    2. /
  2. Cursos
    3. /
  3. Introducción al procesamiento de lenguaje natural en Python
  • 1

    Expresiones regulares y tokenización de palabras

    Gratuito

    Este capítulo introducirá algunos conceptos básicos de NLP, como la tokenización de palabras y las expresiones regulares para ayudar a analizar el texto. También aprenderás a manejar texto no inglés y tokenización más difícil.

  • 2

    Identificación sencilla de temas

    Este capítulo te presentará la identificación del tema, que podrás aplicar a cualquier texto que encuentres en la vida real. Utilizando los modelos básicos de NLP, identificarás los temas de los textos basándote en las frecuencias de los términos. Experimentarás y compararás dos métodos sencillos: bolsa de palabras y Tf-idf utilizando NLTK, y una nueva biblioteca Gensim.

  • 3

    Reconocimiento de entidades nombradas

    Este capítulo presentará un tema algo más avanzado: el reconocimiento de entidades nombradas. Aprenderás a identificar el quién, el qué y el dónde de tus textos utilizando modelos preentrenados en textos ingleses y no ingleses. También aprenderás a utilizar algunas bibliotecas nuevas, polyglot y spaCy, para añadirlas a tu caja de herramientas de NLP.

  • 4

    Creación de un clasificador de noticias falsas

    Aplicarás los elementos básicos aprendidos junto con algo de machine learning supervisado para construir un detector de noticias falsas. Empezarás aprendiendo las nociones básicas del machine learning supervisado y luego elegirás unas cuantas funciones importantes y probarás ideas para identificar y clasificar artículos de noticias falsas.

Initializing

Ejercicio

TfidfVectorizador para la clasificación de textos

De forma similar al CountVectorizer disperso creado en el ejercicio anterior, trabajarás en la creación de vectores tf-idf para tus documentos. Configurarás un TfidfVectorizer e investigarás algunas de sus funciones.

En este ejercicio, utilizarás pandas y sklearn junto con los mismos X_train, y_train y X_test, y_test DataFrames y Series que creaste en el ejercicio anterior.

Instrucciones

100 XP
  • Importa TfidfVectorizer desde sklearn.feature_extraction.text.
  • Crea un objeto TfidfVectorizer llamado tfidf_vectorizer. Al hacerlo, especifica los argumentos de palabra clave stop_words="english" y max_df=0.7.
  • Ajustar y transformar los datos de entrenamiento.
  • Transforma los datos de la prueba.
  • Imprime las 10 primeras características de tfidf_vectorizer.
  • Imprime los 5 primeros vectores de los datos de entrenamiento tfidf utilizando el corte en .A (o matriz) atributo de tfidf_train.