1. Lernen
    2. /
  2. Kurse
    3. /
  3. Einführung in die natürliche Sprachverarbeitung in Python
  • 1

    Reguläre Ausdrücke & Wort-Tokenisierung

    Kostenlos

    In diesem Kapitel werden einige grundlegende Konzepte von NLP vorgestellt, z. B. die Tokenisierung von Wörtern und reguläre Ausdrücke, die beim Parsen von Text helfen. Außerdem lernst du, wie du mit nicht-englischen Texten und schwierigeren Tokenisierungen umgehst, die du vielleicht findest.

  • 2

    Einfache Themenfindung

    Dieses Kapitel führt dich in die Themenfindung ein, die du auf jeden Text anwenden kannst, der dir in der Natur begegnet. Mithilfe grundlegender NLP Modelle identifizierst du Themen aus Texten anhand von Begriffshäufigkeiten. Du wirst zwei einfache Methoden ausprobieren und vergleichen: Bag-of-Words und Tf-idf mit NLTK und einer neuen Bibliothek Gensim.

  • 3

    Erkennung benannter Personen

    In diesem Kapitel geht es um ein etwas fortgeschritteneres Thema: die Erkennung von Namen (named-entity). Du lernst, wie du das "Wer", "Was" und "Wo" deiner Texte mit Hilfe von vortrainierten Modellen für englische und nicht-englische Texte identifizieren kannst. Außerdem lernst du, wie du die neuen Bibliotheken polyglot und spaCy nutzen kannst, um deinen NLP Werkzeugkasten zu erweitern.

  • 4

    Erstellung eines "Fake News"-Klassifikators

    Du wendest die Grundlagen des Gelernten zusammen mit überwachtem maschinellem Lernen an, um einen "Fake News"-Detektor zu entwickeln. Du lernst zunächst die Grundlagen des überwachten maschinellen Lernens und wählst dann einige wichtige Merkmale aus und testest Ideen zur Identifizierung und Klassifizierung von Fake-News-Artikeln.

Initializing

Übung

Training und Test des "Fake News"-Modells mit TfidfVectorizer

Nachdem du das Modell mit CountVectorizer ausgewertet hast, machst du das Gleiche mit TfidfVectorizer und einem Naive Bayes-Modell.

Die Trainings- und Testgruppen wurden erstellt und tfidf_vectorizer, tfidf_train und tfidf_test berechnet. Außerdem wurden MultinomialNB und metrics von sklearn.naive_bayes bzw. sklearn importiert.

Anweisungen

100 XP
  • Erstelle einen MultinomialNB Klassifikator namens nb_classifier.
  • Passe den Klassifikator an die Trainingsdaten an.
  • Berechne die vorhergesagten Tags für die Testdaten.
  • Berechne und drucke die Genauigkeit des Klassifikators.
  • Berechne die Konfusionsmatrix. Wie in der vorherigen Übung gibst du das Schlüsselwortargument labels=['FAKE', 'REAL'] an, damit die resultierende Konfusionsmatrix leichter zu lesen ist.