TF-IDF al rezumatelor de filme

Vom folosi rezumatele unor filme selectate aleatoriu pentru a realiza gruparea documentelor. Înainte de grupare, documentele trebuie curățate de zgomot nedorit (cum ar fi caractere speciale și cuvinte de legătură) și convertite într-o matrice rară prin TF-IDF.

Folosește clasa TfidfVectorizer pentru a calcula TF-IDF al rezumatelor de filme stocate în lista plots. Funcția remove_noise() este disponibilă pentru a fi utilizată ca tokenizer în clasa TfidfVectorizer. Metoda .fit_transform() ajustează datele în obiectul TfidfVectorizer și generează matricea rară TF-IDF.

Notă: Rularea metodei .fit_transform() durează câteva secunde.

Acest exercițiu face parte din cursul

Analiza clusterelor în Python

Instrucțiuni pentru exercițiu

Importă clasa TfidfVectorizer din sklearn.
Inițializează clasa TfidfVectorizer cu frecvențe minimă și maximă de 0,1 și, respectiv, 0,75, și un număr maxim de 50 de caracteristici.
Aplică metoda fit_transform() pe clasa TfidfVectorizer inițializată, folosind lista plots.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import TfidfVectorizer class from sklearn
from sklearn.feature_extraction.text import ____

# Initialize TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(____)

# Use the .fit_transform() method on the list plots
tfidf_matrix = ____

Editează și rulează codul

Acest exercițiu face parte din cursul

Analiza clusterelor în Python

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

Înainte de a fi pregătit să clasifici articole de știri, trebuie să te familiarizezi cu noțiunile de bază ale clustering-ului. Acest capitol îți prezintă o clasă de algoritmi de învățare automată numită învățare nesupervizată, după care te introduce în clustering – unul dintre cei mai populari algoritmi nesupervizați. Vei afla despre două tehnici populare de clustering: clustering ierarhic și clustering k-means. Capitolul se încheie cu pașii de bază de preprocesare înainte de a începe să lucrezi cu datele.

Exercise 1: Învățare nesupervizată: noțiuni de bază Exercise 2: Învățarea nesupervizată în lumea reală Exercise 3: Avistări de Pokémon Exercise 4: Noțiuni de bază ale analizei de clustere Exercise 5: Avistări de Pokémon: clustering ierarhic Exercise 6: Avistări de Pokémon: clustering k-means Exercise 7: Pregătirea datelor pentru analiza cluster Exercise 8: Normalizează date dintr-o listă simplă Exercise 9: Vizualizează datele normalizate Exercise 10: Normalizarea numerelor mici Exercise 11: FIFA 18: Normalizează datele

Acest capitol se concentrează pe un algoritm popular de clustering – clustering-ul ierarhic – și pe implementarea sa în SciPy. Pe lângă procedura de realizare a clustering-ului ierarhic, îți oferă și instrumentele pentru a răspunde la o întrebare importantă: câte clustere există în datele tale? Capitolul se încheie cu o discuție despre limitele clustering-ului ierarhic și cu aspecte de luat în considerare atunci când îl folosești.

Exercise 1: Noțiuni de bază ale clustering-ului ierarhic Exercise 2: Clustering ierarhic: metoda ward Exercise 3: Clustering ierarhic: metoda single Exercise 4: Clustering ierarhic: metoda complete Exercise 5: Vizualizează clusterele Exercise 6: Vizualizează clusterele cu matplotlib Exercise 7: Vizualizează clusterele cu seaborn Exercise 8: Câte clustere?Exercise 9: Creează o dendrogramă Exercise 10: Câți clusteri există în datele Comic Con?Exercise 11: Limitările clustering-ului ierarhic Exercise 12: Măsurarea timpului de execuție al clustering-ului ierarhic Exercise 13: FIFA 18: explorarea fundașilor

Acest capitol introduce un alt algoritm de clustering – clustering-ul k-means – și implementarea sa în SciPy. Clustering-ul k-means depășește cel mai mare dezavantaj al clustering-ului ierarhic discutat în capitolul anterior. Deoarece dendrogramele sunt specifice clustering-ului ierarhic, acest capitol prezintă o metodă de a determina numărul de clustere înainte de a rula k-means. Capitolul se încheie cu o discuție despre limitele clustering-ului k-means și cu aspecte de luat în considerare când folosești acest algoritm.

Exercise 1: Noțiuni de bază ale algoritmului k-means Exercise 2: K-means clustering: primul exercițiu Exercise 3: Timpul de execuție al algoritmului k-means Exercise 4: Câte clustere?Exercise 5: Metoda cotului pe clustere distincte Exercise 6: Metoda cotului pe date uniforme Exercise 7: Limitările algoritmului k-means Exercise 8: Impactul seed-urilor asupra clusterelor distincte Exercise 9: Tipare uniforme de grupare Exercise 10: FIFA 18: fundași – o nouă perspectivă

Acum că ești familiarizat cu două dintre cele mai populare tehnici de clustering, acest capitol te ajută să aplici aceste cunoștințe în probleme reale. Capitolul discută mai întâi procesul de identificare a culorilor dominante dintr-o imagine, apoi abordează problema menționată în introducere – clustering-ul articolelor de știri. Capitolul se încheie cu o discuție despre clustering cu mai multe variabile, ceea ce face dificilă vizualizarea tuturor datelor.

Exercise 1: Culori dominante în imagini Exercise 2: Extrage valorile RGB dintr-o imagine Exercise 3: Câte culori dominante există?Exercise 4: Afișează culorile dominante Exercise 5: Gruparea documentelor Exercise 6: TF-IDF al rezumatelor de filme

Exercițiul curent

Exercise 7: Principalii termeni din clusterele de filme Exercise 8: Clusterizare cu mai multe caracteristici Exercise 9: Clustering cu multe caracteristici Exercise 10: Verificări de bază asupra clusterelor Exercise 11: FIFA 18: ce face un jucător complet?Exercise 12: La revedere!