1. Learn
    2. /
  2. Courses
    3. /
  3. Einführung in die natürliche Sprachverarbeitung in Python
  • 1

    Reguläre Ausdrücke & Wort-Tokenisierung

    Free

    In diesem Kapitel werden einige grundlegende Konzepte von NLP vorgestellt, z. B. die Tokenisierung von Wörtern und reguläre Ausdrücke, die beim Parsen von Text helfen. Außerdem lernst du, wie du mit nicht-englischen Texten und schwierigeren Tokenisierungen umgehst, die du vielleicht findest.

  • 2

    Einfache Themenfindung

    Dieses Kapitel führt dich in die Themenfindung ein, die du auf jeden Text anwenden kannst, der dir in der Natur begegnet. Mithilfe grundlegender NLP Modelle identifizierst du Themen aus Texten anhand von Begriffshäufigkeiten. Du wirst zwei einfache Methoden ausprobieren und vergleichen: Bag-of-Words und Tf-idf mit NLTK und einer neuen Bibliothek Gensim.

  • 3

    Erkennung benannter Personen

    In diesem Kapitel geht es um ein etwas fortgeschritteneres Thema: die Erkennung von Namen (named-entity). Du lernst, wie du das "Wer", "Was" und "Wo" deiner Texte mit Hilfe von vortrainierten Modellen für englische und nicht-englische Texte identifizieren kannst. Außerdem lernst du, wie du die neuen Bibliotheken polyglot und spaCy nutzen kannst, um deinen NLP Werkzeugkasten zu erweitern.

  • 4

    Erstellung eines "Fake News"-Klassifikators

    Du wendest die Grundlagen des Gelernten zusammen mit überwachtem maschinellem Lernen an, um einen "Fake News"-Detektor zu entwickeln. Du lernst zunächst die Grundlagen des überwachten maschinellen Lernens und wählst dann einige wichtige Merkmale aus und testest Ideen zur Identifizierung und Klassifizierung von Fake-News-Artikeln.

Initializing

Exercise

TfidfVectorizer für die Textklassifizierung

Ähnlich wie bei den spärlichen CountVectorizer, die du in der vorherigen Übung erstellt hast, wirst du daran arbeiten, tf-idf-Vektoren für deine Dokumente zu erstellen. Du wirst eine TfidfVectorizer einrichten und einige ihrer Funktionen untersuchen.

In dieser Übung verwendest du pandas und sklearn zusammen mit denselben X_train, y_train und X_test, y_test DataFrames und Serien, die du in der letzten Übung erstellt hast.

Instructions

100 XP
  • Importiere TfidfVectorizer von sklearn.feature_extraction.text.
  • Erstelle ein TfidfVectorizer Objekt mit dem Namen tfidf_vectorizer. Dabei gibst du die Schlüsselwortargumente stop_words="english" und max_df=0.7 an.
  • Passe die Trainingsdaten an und transformiere sie.
  • Transformiere die Testdaten.
  • Drucke die ersten 10 Merkmale von tfidf_vectorizer.
  • Drucke die ersten 5 Vektoren der tfidf-Trainingsdaten mit Slicing auf .A (oder Array) Attribut von tfidf_train.