Was ist tf-idf?

Du möchtest das tf-idf-Gewicht für das Wort "computer" berechnen, das fünfmal in einem Dokument mit 100 Wörtern vorkommt. Bei einem Korpus mit 200 Dokumenten, von denen 20 das Wort "computer" erwähnen, kann tf-idf durch Multiplikation der Termfrequenz mit der inversen Dokumentenfrequenz berechnet werden.

Termfrequenz = prozentualer Anteil des Wortes im Vergleich zu allen Token im Dokument Umgekehrte Dokumenthäufigkeit = Logarithmus der Gesamtzahl der Dokumente in einer Korpora geteilt durch die Anzahl der Dokumente, die den Begriff enthalten

Welche der folgenden Optionen ist richtig?

Diese Übung ist Teil des Kurses

Einführung in die natürliche Sprachverarbeitung in Python

Interaktive Übung

Setze die Theorie in einer unserer interaktiven Übungen in die Praxis um

Diese Übung ist Teil des Kurses

Einführung in die natürliche Sprachverarbeitung in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.7+

Kurs kostenlos starten

In diesem Kapitel werden einige grundlegende Konzepte von NLP vorgestellt, z. B. die Tokenisierung von Wörtern und reguläre Ausdrücke, die beim Parsen von Text helfen. Außerdem lernst du, wie du mit nicht-englischen Texten und schwierigeren Tokenisierungen umgehst, die du vielleicht findest.

Exercise 1: Einführung in reguläre Ausdrücke Exercise 2: Welches Muster?Exercise 3: Reguläre Ausdrücke üben: re.split() und re.findall()Exercise 4: Einführung in die Tokenisierung Exercise 5: Wort-Tokenisierung mit NLTK Exercise 6: Mehr Regex mit re.search()Exercise 7: Erweiterte Tokenisierung mit NLTK und Regex Exercise 8: Auswahl eines Tokenizers Exercise 9: Regex mit NLTK Tokenisierung Exercise 10: Nicht-Ascii-Tokenisierung Exercise 11: Kartierung der Wortlänge mit NLTK Exercise 12: Charting Praxis

Dieses Kapitel führt dich in die Themenfindung ein, die du auf jeden Text anwenden kannst, der dir in der Natur begegnet. Mithilfe grundlegender NLP Modelle identifizierst du Themen aus Texten anhand von Begriffshäufigkeiten. Du wirst zwei einfache Methoden ausprobieren und vergleichen: Bag-of-Words und Tf-idf mit NLTK und einer neuen Bibliothek Gensim.

Exercise 1: Wörter zählen mit Bag-of-Words Exercise 2: Bag-of-Words-Auswahl Exercise 3: Einen Zähler mit Bag-of-Words bauen Exercise 4: Einfache Textvorverarbeitung Exercise 5: Schritte der Textvorverarbeitung Exercise 6: Praxis der Textvorverarbeitung Exercise 7: Einführung in gensim Exercise 8: Was sind Wortvektoren?Exercise 9: Erstellen und Abfragen eines Korpus mit gensim Exercise 10: Gensim bag-of-words Exercise 11: Tf-idf mit gensim Exercise 12: Was ist tf-idf?

Aktuelle Übung

Exercise 13: Tf-idf mit Wikipedia

In diesem Kapitel geht es um ein etwas fortgeschritteneres Thema: die Erkennung von Namen (named-entity). Du lernst, wie du das "Wer", "Was" und "Wo" deiner Texte mit Hilfe von vortrainierten Modellen für englische und nicht-englische Texte identifizieren kannst. Außerdem lernst du, wie du die neuen Bibliotheken polyglot und spaCy nutzen kannst, um deinen NLP Werkzeugkasten zu erweitern.

Exercise 1: Erkennung von benannten Entitäten Exercise 2: NER mit NLTK Exercise 3: Charting Praxis Exercise 4: Stanford Bibliothek mit NLTK Exercise 5: Einführung in SpaCy Exercise 6: Vergleich von NLTK mit spaCy NER Exercise 7: spaCy NER Kategorien Exercise 8: Mehrsprachig NER mit polyglott Exercise 9: Französisch NER mit Polyglott I Exercise 10: Französisch NER mit Polyglott II Exercise 11: Spanisch NER mit Polyglott

Du wendest die Grundlagen des Gelernten zusammen mit überwachtem maschinellem Lernen an, um einen "Fake News"-Detektor zu entwickeln. Du lernst zunächst die Grundlagen des überwachten maschinellen Lernens und wählst dann einige wichtige Merkmale aus und testest Ideen zur Identifizierung und Klassifizierung von Fake-News-Artikeln.

Exercise 1: Klassifizierung von Fake News durch überwachtes Lernen mit NLP Exercise 2: Welche Merkmale sind möglich?Exercise 3: Ausbildung und Prüfung Exercise 4: Erstellen von Wortzählungsvektoren mit Scikit-Learn Exercise 5: CountVectorizer für die Textklassifizierung Exercise 6: TfidfVectorizer für die Textklassifizierung Exercise 7: Prüfung der Vektoren Exercise 8: Trainieren und Testen eines Klassifizierungsmodells mit Scikit-Learn Exercise 9: Modelle zur Textklassifizierung Exercise 10: Training und Test des "Fake News"-Modells mit CountVectorizer Exercise 11: Training und Test des "Fake News"-Modells mit TfidfVectorizer Exercise 12: Einfache NLP, komplexe Probleme Exercise 13: Das Modell verbessern Exercise 14: Verbessere dein Modell Exercise 15: Inspektion deines Modells