Clustering Wikipedia – Partea a II-a

A venit momentul să pui la treabă pipeline-ul construit în exercițiul anterior! Ai la dispoziție un array articles cu frecvențele tf-idf ale cuvintelor din câteva articole populare de pe Wikipedia și o listă titles cu titlurile acestora. Folosește pipeline-ul tău pentru a grupa articolele Wikipedia în clustere.

Soluția exercițiului anterior a fost preîncărcată, astfel că un Pipeline pipeline care înlănțuie TruncatedSVD cu KMeans este deja disponibil.

Acest exercițiu face parte din cursul

Învățare nesupervizată în Python

Instrucțiuni pentru exercițiu

Importă pandas ca pd.
Antrenează pipeline-ul pe matricea de frecvențe ale cuvintelor articles.
Prezice etichetele clusterelor.
Alinierea etichetelor clusterelor cu lista titles a titlurilor articolelor, prin crearea unui DataFrame df cu coloanele labels și titles, a fost deja realizată pentru tine.
Folosește metoda .sort_values() a lui df pentru a sorta DataFrame-ul după coloana 'label' și afișează rezultatul.
Apasă Trimite răspunsul și ia-ți un moment să explorezi rezultatul impresionant al grupării articolelor Wikipedia!

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import pandas
____

# Fit the pipeline to articles
____

# Calculate the cluster labels: labels
labels = ____

# Create a DataFrame aligning labels and titles: df
df = pd.DataFrame({'label': labels, 'article': titles})

# Display df sorted by cluster label
print(____)

Editează și rulează codul

Acest exercițiu face parte din cursul

Învățare nesupervizată în Python

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Află cum să descoperi grupurile (sau „clusterele") dintr-un set de date. La finalul acestui capitol, vei realiza clustering pe companii folosind prețurile lor de pe piața bursieră și vei distinge diferite specii prin gruparea măsurătorilor acestora.

Exercise 1: Învățare nesupervizată Exercise 2: Câte clustere există?Exercise 3: Clusterizarea punctelor 2D Exercise 4: Explorează rezultatul clusterizării Exercise 5: Evaluarea unui clustering Exercise 6: Câte clustere de cereale?Exercise 7: Evaluarea clusterizării cerealelor Exercise 8: Transformarea caracteristicilor pentru clusterings mai bune Exercise 9: Scalarea datelor despre pești pentru grupare Exercise 10: Gruparea datelor despre pești Exercise 11: Clustering acțiunilor folosind KMeans Exercise 12: Ce acțiuni evoluează împreună?

În acest capitol, vei învăța două tehnici de învățare nesupervizată pentru vizualizarea datelor: clustering ierarhic și t-SNE. Clustering-ul ierarhic fuzionează eșantioanele de date în clustere din ce în ce mai largi, generând o vizualizare arborescentă a ierarhiei de clustere rezultate. t-SNE proiectează eșantioanele de date într-un spațiu 2D, astfel încât proximitatea dintre ele să poată fi vizualizată.

Exercise 1: Vizualizarea ierarhiilor Exercise 2: Câte îmbinări?Exercise 3: Clustering ierarhic al datelor despre cereale Exercise 4: Ierarhii de acțiuni Exercise 5: Etichete de cluster în clustering ierarhic Exercise 6: Care clustere sunt cele mai apropiate?Exercise 7: Altă legătură, alt clustering ierarhic!Exercise 8: Grupări intermediare Exercise 9: Extragerea etichetelor de cluster Exercise 10: t-SNE pentru hărți bidimensionale Exercise 11: Vizualizare t-SNE a setului de date despre cereale Exercise 12: O hartă t-SNE a pieței bursiere

Reducerea dimensionalității rezumă un set de date folosind tiparele sale frecvente. În acest capitol, vei învăța despre cea mai fundamentală tehnică de reducere a dimensionalității: „Analiza componentelor principale" („PCA"). PCA este folosită adesea înaintea învățării supervizate pentru a îmbunătăți performanța și generalizarea modelelor. Poate fi utilă și în contextul învățării nesupervizate. De exemplu, vei utiliza o variantă a PCA care îți va permite să grupezi articole Wikipedia după conținutul lor!

Exercise 1: Vizualizarea transformării PCA Exercise 2: Date corelate în natură Exercise 3: Decorelarea măsurătorilor de cereale cu PCA Exercise 4: Componente principale Exercise 5: Dimensiunea intrinsecă Exercise 6: Prima componentă principală Exercise 7: Varianța caracteristicilor PCA Exercise 8: Dimensiunea intrinsecă a datelor despre pești Exercise 9: Reducerea dimensionalității cu PCA Exercise 10: Reducerea dimensionalității măsurătorilor peștilor Exercise 11: Un array de frecvențe tf-idf Exercise 12: Clusterizarea Wikipedia – Partea I Exercise 13: Clustering Wikipedia – Partea a II-a

Exercițiul curent

În acest capitol, vei învăța despre o tehnică de reducere a dimensionalității numită „Factorizare matriceală non-negativă" („NMF"), care exprimă eșantioanele ca o combinație de componente interpretabile. De exemplu, reprezintă documentele ca o combinație de teme și imaginile prin tipare vizuale frecvente. Vei învăța, de asemenea, să folosești NMF pentru a construi sisteme de recomandare care pot sugera articole similare de citit sau artiști muzicali care se potrivesc istoricului tău de ascultare!

Exercise 1: Factorizarea matricială non-negativă (NMF)Exercise 2: Date non-negative Exercise 3: NMF aplicat pe articole Wikipedia Exercise 4: Caracteristicile NMF ale articolelor Wikipedia Exercise 5: NMF reconstruiește eșantioane Exercise 6: NMF învață componente interpretabile Exercise 7: NMF identifică topicele documentelor Exercise 8: Explorează setul de date cu cifre LED Exercise 9: NMF învață părțile componente ale imaginilor Exercise 10: PCA nu învață părți componente Exercise 11: Construirea sistemelor de recomandare cu NMF Exercise 12: Ce articole sunt similare cu 'Cristiano Ronaldo'?Exercise 13: Recomandă artiști muzicali – partea I Exercise 14: Recomandă artiști muzicali – partea a II-a Exercise 15: Gânduri finale