Top-Terme in Film-Clustern

Jetzt, da du eine Sparse-Matrix erstellt hast, generiere Clusterzentren und gib die drei wichtigsten Terme in jedem Cluster aus. Verwende die Methode .todense(), um die Sparse-Matrix tfidf_matrix in eine normale Matrix zu konvertieren, damit die Funktion kmeans() sie verarbeiten kann. Verwende anschließend die Methode .get_feature_names(), um eine Liste der Terme im Objekt tfidf_vectorizer zu erhalten. Die Python-Funktion zip() verbindet zwei Listen.

Das Objekt tfidf_vectorizer und die Sparse-Matrix tfidf_matrix aus der vorherigen Aufgabe wurden für diese Übung übernommen. kmeans wurde aus SciPy importiert.

Mit einer höheren Anzahl an Datenpunkten wären die gebildeten Cluster klarer definiert. Das erfordert jedoch Rechenleistung und ist in einer Übung hier schwer umzusetzen.

Diese Übung ist Teil des Kurses

Cluster Analysis in Python

Anleitung zur Übung

Erzeuge Clusterzentren mit der Funktion kmeans().
Erzeuge eine Liste der Terme aus dem Objekt tfidf_vectorizer.
Gib die drei Top-Terme jedes Clusters aus.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

num_clusters = 2

# Generate cluster centers through the kmeans function
cluster_centers, distortion = ____

# Generate terms from the tfidf_vectorizer object
terms = tfidf_vectorizer.____()

for i in range(num_clusters):
    # Sort the terms and print top 3 terms
    center_terms = dict(zip(____, ____))
    sorted_terms = sorted(____, key=center_terms.get, reverse=True)
    print(____)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

Cluster Analysis in Python

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Bevor du bereit bist, Nachrichtenartikel zu klassifizieren, brauchst du die Grundlagen des Clustering. Dieses Kapitel macht dich mit einer Klasse von Machine-Learning-Algorithmen vertraut, dem unüberwachten Lernen, und führt dich dann in Clustering ein, einen der beliebtesten Algorithmen des unüberwachten Lernens. Du lernst zwei gängige Clustering-Verfahren kennen – hierarchisches Clustering und K-Means-Clustering. Das Kapitel schließt mit grundlegenden Schritten der Vorverarbeitung, bevor du mit dem Clustern von Daten beginnst.

Exercise 1: Unüberwachtes Lernen: Grundlagen Exercise 2: Unüberwachtes Lernen in der Praxis Exercise 3: Pokémon-Sichtungen Exercise 4: Grundlagen der Clusteranalyse Exercise 5: Pokémon-Sichtungen: hierarchisches Clustering Exercise 6: Pokémon-Sichtungen: k-means-Clustering Exercise 7: Datenvorbereitung für die Clusteranalyse Exercise 8: Einfache Listendaten normalisieren Exercise 9: Normalisierte Daten visualisieren Exercise 10: Normalisierung kleiner Zahlen Exercise 11: FIFA 18: Daten normalisieren

Dieses Kapitel konzentriert sich auf einen beliebten Clustering-Algorithmus – das hierarchische Clustering – und seine Implementierung in SciPy. Neben dem Ablauf zur Durchführung des hierarchischen Clustering hilft es dir, eine wichtige Frage zu beantworten: Wie viele Cluster sind in deinen Daten vorhanden? Das Kapitel endet mit einer Diskussion über die Grenzen des hierarchischen Clustering und mit Überlegungen zur praktischen Anwendung.

Exercise 1: Grundlagen der hierarchischen Clusterbildung Exercise 2: Hierarchisches Clustering: Ward-Methode Exercise 3: Hierarchisches Clustering: single-Methode Exercise 4: Hierarchisches Clustering: complete-Methode Exercise 5: Cluster visualisieren Exercise 6: Cluster mit matplotlib visualisieren Exercise 7: Cluster mit seaborn visualisieren Exercise 8: Wie viele Cluster?Exercise 9: Erstelle ein Dendrogramm Exercise 10: Wie viele Cluster gibt es in den Comic-Con-Daten?Exercise 11: Einschränkungen der hierarchischen Clusteranalyse Exercise 12: Laufzeitmessung bei hierarchischem Clustering Exercise 13: FIFA 18: Verteidiger erkunden

Dieses Kapitel führt einen anderen Clustering-Algorithmus ein – das K-Means-Clustering – und dessen Implementierung in SciPy. K-Means-Clustering überwindet den größten Nachteil des hierarchischen Clustering, der im letzten Kapitel besprochen wurde. Da Dendrogramme spezifisch für hierarchisches Clustering sind, wird in diesem Kapitel eine Methode behandelt, um die Anzahl der Cluster zu bestimmen, bevor du K-Means-Clustering ausführst. Das Kapitel schließt mit einer Diskussion über die Grenzen des K-Means-Clustering und mit Hinweisen zur Anwendung dieses Verfahrens.

Exercise 1: Grundlagen des k-means-clusterings Exercise 2: K-Means-Clustering: erste Übung Exercise 3: Laufzeit von k-means-clustering Exercise 4: Wie viele Cluster?Exercise 5: Elbow-Methode bei klar getrennten Clustern Exercise 6: Elbow-Methode bei gleichmäßig verteilten Daten Exercise 7: Einschränkungen des k-means-clusterings Exercise 8: Einfluss von Seeds auf unterschiedliche Cluster Exercise 9: Gleichförmige Cluster-Muster Exercise 10: FIFA 18: Verteidiger – nochmal betrachtet

Nachdem du nun zwei der beliebtesten Clustering-Techniken kennst, hilft dir dieses Kapitel, dieses Wissen auf reale Problemstellungen anzuwenden. Zuerst geht es um das Bestimmen dominanter Farben in einem Bild, bevor wir zum in der Einführung erwähnten Problem übergehen – dem Clustern von Nachrichtenartikeln. Abschließend folgt eine Diskussion über Clustering mit mehreren Variablen, was die Visualisierung aller Daten erschwert.

Exercise 1: Dominante Farben in Bildern Exercise 2: RGB-Werte aus einem Bild extrahieren Exercise 3: Wie viele dominierende Farben?Exercise 4: Dominante Farben anzeigen Exercise 5: Dokumenten-Clustering Exercise 6: TF-IDF von Filmhandlungen Exercise 7: Top-Terme in Film-Clustern

Aktuelle Übung

Exercise 8: Clustering mit mehreren Merkmalen Exercise 9: Clustering mit vielen Merkmalen Exercise 10: Grundlegende Checks für Cluster Exercise 11: FIFA 18: Was macht einen kompletten Spieler aus?Exercise 12: Zum Abschied!