Jetzt nutzt du dein neues gensim-Korpus und -Dictionary, um die häufigsten Terme pro Dokument und über alle Dokumente hinweg zu ermitteln. Mit deinem Dictionary kannst du die Terme nachschlagen. Rate doch mal, welche Themen vorkommen, und erkunde gern weitere Dokumente in der IPython Shell!

Du hast Zugriff auf die Objekte dictionary und corpus, die du in der vorherigen Übung erstellt hast, sowie auf Pythons defaultdict und itertools, die dir beim Erstellen von Zwischendatenstrukturen für die Analyse helfen.

defaultdict erlaubt es, ein Dictionary zu initialisieren, das nicht vorhandenen Schlüsseln einen Standardwert zuweist. Wenn wir das Argument int angeben, stellen wir sicher, dass alle nicht vorhandenen Schlüssel automatisch den Standardwert 0 bekommen. Das ist ideal, um in dieser Übung Wortzählungen zu speichern.
itertools.chain.from_iterable() ermöglicht es, über eine Menge von Sequenzen zu iterieren, als wäre es eine durchgehende Sequenz. Damit können wir bequem durch unser corpus-Objekt iterieren (eine Liste von Listen).

Das fünfte Dokument aus dem corpus ist in der Variable doc gespeichert und wurde absteigend sortiert.

Schritte der Textvorverarbeitung

Einführung in Natural Language Processing mit Python

Interaktive Übung