1. Lernen
    2. /
  2. Kurse
    3. /
  3. Einführung in die natürliche Sprachverarbeitung in Python
  • 1

    Reguläre Ausdrücke & Wort-Tokenisierung

    Kostenlos

    In diesem Kapitel werden einige grundlegende Konzepte von NLP vorgestellt, z. B. die Tokenisierung von Wörtern und reguläre Ausdrücke, die beim Parsen von Text helfen. Außerdem lernst du, wie du mit nicht-englischen Texten und schwierigeren Tokenisierungen umgehst, die du vielleicht findest.

  • 2

    Einfache Themenfindung

    Dieses Kapitel führt dich in die Themenfindung ein, die du auf jeden Text anwenden kannst, der dir in der Natur begegnet. Mithilfe grundlegender NLP Modelle identifizierst du Themen aus Texten anhand von Begriffshäufigkeiten. Du wirst zwei einfache Methoden ausprobieren und vergleichen: Bag-of-Words und Tf-idf mit NLTK und einer neuen Bibliothek Gensim.

  • 3

    Erkennung benannter Personen

    In diesem Kapitel geht es um ein etwas fortgeschritteneres Thema: die Erkennung von Namen (named-entity). Du lernst, wie du das "Wer", "Was" und "Wo" deiner Texte mit Hilfe von vortrainierten Modellen für englische und nicht-englische Texte identifizieren kannst. Außerdem lernst du, wie du die neuen Bibliotheken polyglot und spaCy nutzen kannst, um deinen NLP Werkzeugkasten zu erweitern.

  • 4

    Erstellung eines "Fake News"-Klassifikators

    Du wendest die Grundlagen des Gelernten zusammen mit überwachtem maschinellem Lernen an, um einen "Fake News"-Detektor zu entwickeln. Du lernst zunächst die Grundlagen des überwachten maschinellen Lernens und wählst dann einige wichtige Merkmale aus und testest Ideen zur Identifizierung und Klassifizierung von Fake-News-Artikeln.

Initializing

Übung

Prüfung der Vektoren

Um eine bessere Vorstellung davon zu bekommen, wie die Vektoren funktionieren, wirst du sie untersuchen, indem du sie in pandas DataFrames umwandelst.

Hier verwendest du dieselben Datenstrukturen, die du in den beiden vorangegangenen Übungen erstellt hast (count_train, count_vectorizer, tfidf_train, tfidf_vectorizer), sowie pandas, das als pd importiert wird.

Anweisungen

100 XP

  • Erstelle die DataFrames count_df und tfidf_df, indem du pd.DataFrame() verwendest und die Werte als erstes Argument und die Spalten (oder Merkmale) als zweites Argument angibst.

    • Die Werte können über das Attribut .A von count_train bzw. tfidf_train abgerufen werden.

    • Auf die Spalten kann mit den .get_feature_names() Methoden von count_vectorizer und tfidf_vectorizer zugegriffen werden.

  • Drucke den Kopf jedes DataFrame aus, um seine Struktur zu untersuchen. Das haben wir für dich getan.

  • Teste, ob die Spaltennamen für jeden DataFrame gleich sind, indem du ein neues Objekt namens difference erstellst, um den Unterschied zwischen den Spalten von count_df und tfidf_df zu sehen. Auf Spalten kann über das Attribut .columns eines DataFrame zugegriffen werden. Subtrahiere die Menge von tfidf_df.columns von der Menge von count_df.columns.

  • Teste, ob die beiden DataFrames gleichwertig sind, indem du die Methode .equals() auf count_df mit tfidf_df als Argument anwendest.