Auswahl eines Tokenizers

Welches der folgenden Muster ist der beste Tokenizer für die folgende Zeichenkette? Wenn möglich, solltest du die Satzzeichen als separate Token beibehalten, aber '#1' als einzelnes Token behalten.

my_string = "SOLDIER #1: Found them? In Mercea? The coconut's tropical!"

Die Zeichenfolge ist in deinem Arbeitsbereich als my_string verfügbar, und die Muster wurden als pattern1, pattern2, pattern3 und pattern4 vorgeladen.

Außerdem wurde regexp_tokenize von nltk.tokenize importiert. Du kannst regexp_tokenize(string, pattern) mit my_string und einem der Muster als Argument verwenden, um selbst zu experimentieren und herauszufinden, welcher der beste Tokenizer ist.

Diese Übung ist Teil des Kurses

Einführung in die natürliche Sprachverarbeitung in Python

Interaktive Übung zum Anfassen

Setzen Sie die Theorie mit einer unserer interaktiven Übungen in die Tat um

Beginnen Sie mit dem Training

Diese Übung ist Teil des Kurses

Einführung in die natürliche Sprachverarbeitung in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.7+

Kurs kostenlos starten

In diesem Kapitel werden einige grundlegende Konzepte von NLP vorgestellt, z. B. die Tokenisierung von Wörtern und reguläre Ausdrücke, die beim Parsen von Text helfen. Außerdem lernst du, wie du mit nicht-englischen Texten und schwierigeren Tokenisierungen umgehst, die du vielleicht findest.

Exercise 1: Einführung in reguläre Ausdrücke Exercise 2: Welches Muster?Exercise 3: Reguläre Ausdrücke üben: re.split() und re.findall()Exercise 4: Einführung in die Tokenisierung Exercise 5: Wort-Tokenisierung mit NLTK Exercise 6: Mehr Regex mit re.search()Exercise 7: Erweiterte Tokenisierung mit NLTK und Regex Exercise 8: Auswahl eines Tokenizers

Aktuelle Übung

Exercise 9: Regex mit NLTK Tokenisierung Exercise 10: Nicht-Ascii-Tokenisierung Exercise 11: Kartierung der Wortlänge mit NLTK Exercise 12: Charting Praxis

Dieses Kapitel führt dich in die Themenfindung ein, die du auf jeden Text anwenden kannst, der dir in der Natur begegnet. Mithilfe grundlegender NLP Modelle identifizierst du Themen aus Texten anhand von Begriffshäufigkeiten. Du wirst zwei einfache Methoden ausprobieren und vergleichen: Bag-of-Words und Tf-idf mit NLTK und einer neuen Bibliothek Gensim.

Exercise 1: Wörter zählen mit Bag-of-Words Exercise 2: Bag-of-Words-Auswahl Exercise 3: Einen Zähler mit Bag-of-Words bauen Exercise 4: Einfache Textvorverarbeitung Exercise 5: Schritte der Textvorverarbeitung Exercise 6: Praxis der Textvorverarbeitung Exercise 7: Einführung in gensim Exercise 8: Was sind Wortvektoren?Exercise 9: Erstellen und Abfragen eines Korpus mit gensim Exercise 10: Gensim bag-of-words Exercise 11: Tf-idf mit gensim Exercise 12: Was ist tf-idf?Exercise 13: Tf-idf mit Wikipedia

In diesem Kapitel geht es um ein etwas fortgeschritteneres Thema: die Erkennung von Namen (named-entity). Du lernst, wie du das "Wer", "Was" und "Wo" deiner Texte mit Hilfe von vortrainierten Modellen für englische und nicht-englische Texte identifizieren kannst. Außerdem lernst du, wie du die neuen Bibliotheken polyglot und spaCy nutzen kannst, um deinen NLP Werkzeugkasten zu erweitern.

Exercise 1: Erkennung von benannten Entitäten Exercise 2: NER mit NLTK Exercise 3: Charting Praxis Exercise 4: Stanford Bibliothek mit NLTK Exercise 5: Einführung in SpaCy Exercise 6: Vergleich von NLTK mit spaCy NER Exercise 7: spaCy NER Kategorien Exercise 8: Mehrsprachig NER mit polyglott Exercise 9: Französisch NER mit Polyglott I Exercise 10: Französisch NER mit Polyglott II Exercise 11: Spanisch NER mit Polyglott

Du wendest die Grundlagen des Gelernten zusammen mit überwachtem maschinellem Lernen an, um einen "Fake News"-Detektor zu entwickeln. Du lernst zunächst die Grundlagen des überwachten maschinellen Lernens und wählst dann einige wichtige Merkmale aus und testest Ideen zur Identifizierung und Klassifizierung von Fake-News-Artikeln.

Exercise 1: Klassifizierung von Fake News durch überwachtes Lernen mit NLP Exercise 2: Welche Merkmale sind möglich?Exercise 3: Ausbildung und Prüfung Exercise 4: Erstellen von Wortzählungsvektoren mit Scikit-Learn Exercise 5: CountVectorizer für die Textklassifizierung Exercise 6: TfidfVectorizer für die Textklassifizierung Exercise 7: Prüfung der Vektoren Exercise 8: Trainieren und Testen eines Klassifizierungsmodells mit Scikit-Learn Exercise 9: Modelle zur Textklassifizierung Exercise 10: Training und Test des "Fake News"-Modells mit CountVectorizer Exercise 11: Training und Test des "Fake News"-Modells mit TfidfVectorizer Exercise 12: Einfache NLP, komplexe Probleme Exercise 13: Das Modell verbessern Exercise 14: Verbessere dein Modell Exercise 15: Inspektion deines Modells