TF-IDF opisów filmów

Wykorzystajmy opisy losowo wybranych filmów do grupowania dokumentów. Przed przystąpieniem do klasteryzacji należy oczyścić dokumenty z niepożądanych elementów (takich jak znaki specjalne i stop words) oraz przekształcić je w macierz rzadką za pomocą TF-IDF.

Użyj klasy TfidfVectorizer, aby wykonać TF-IDF na opisach filmów zapisanych na liście plots. Funkcja remove_noise() jest dostępna jako tokenizer w klasie TfidfVectorizer. Metoda .fit_transform() dopasowuje dane do obiektu TfidfVectorizer, a następnie generuje rzadką macierz TF-IDF.

Uwaga: uruchomienie metody .fit_transform() zajmuje kilka sekund.

To ćwiczenie jest częścią kursu

Analiza skupień w Pythonie

Instrukcje do ćwiczenia

Zaimportuj klasę TfidfVectorizer z biblioteki sklearn.
Zainicjalizuj klasę TfidfVectorizer z minimalną i maksymalną częstotliwością odpowiednio 0.1 i 0.75 oraz maksymalnie 50 cechami.
Użyj metody fit_transform() na zainicjalizowanym obiekcie klasy TfidfVectorizer, przekazując listę plots.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import TfidfVectorizer class from sklearn
from sklearn.feature_extraction.text import ____

# Initialize TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer(____)

# Use the .fit_transform() method on the list plots
tfidf_matrix = ____

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Analiza skupień w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Zanim zaczniesz klasyfikować artykuły prasowe, poznaj podstawy analizy skupień. Ten rozdział zapoznaje cię z klasą algorytmów uczenia maszynowego zwaną uczeniem nienadzorowanym, a następnie przedstawia grupowanie jako jeden z popularnych algorytmów tego typu. Dowiesz się o dwóch powszechnie stosowanych technikach grupowania – grupowaniu hierarchicznym oraz algorytmie k-średnich. Rozdział kończy się omówieniem podstawowych kroków wstępnego przetwarzania danych, które wykonasz przed przystąpieniem do grupowania.

Exercise 1: Uczenie nienadzorowane: podstawy Exercise 2: Uczenie nienadzorowane w praktyce Exercise 3: Obserwacje Pokémonów Exercise 4: Podstawy analizy skupień Exercise 5: Obserwacje Pokémonów: klastrowanie hierarchiczne Exercise 6: Pokémon sightings: grupowanie k-means Exercise 7: Przygotowanie danych do analizy skupień Exercise 8: Normalizacja prostych danych listowych Exercise 9: Wizualizacja znormalizowanych danych Exercise 10: Normalizacja małych liczb Exercise 11: FIFA 18: Normalizacja danych

Ten rozdział skupia się na popularnym algorytmie grupowania – grupowaniu hierarchicznym – oraz jego implementacji w SciPy. Oprócz procedury przeprowadzania grupowania hierarchicznego, rozdział pomaga odpowiedzieć na ważne pytanie: ile skupień kryje się w twoich danych? Rozdział kończy się omówieniem ograniczeń grupowania hierarchicznego i wskazówkami dotyczącymi jego praktycznego zastosowania.

Exercise 1: Podstawy klastrowania hierarchicznego Exercise 2: Klasteryzacja hierarchiczna: metoda Warda Exercise 3: Grupowanie hierarchiczne: metoda single Exercise 4: Hierarchiczne grupowanie: metoda complete Exercise 5: Wizualizacja klastrów Exercise 6: Wizualizacja klastrów za pomocą matplotlib Exercise 7: Wizualizacja klastrów za pomocą seaborn Exercise 8: Ile klastrów?Exercise 9: Tworzenie dendrogramu Exercise 10: Ile klastrów w danych z Comic Con?Exercise 11: Ograniczenia hierarchicznego grupowania Exercise 12: Pomiar czasu działania algorytmu klastrowania hierarchicznego Exercise 13: FIFA 18: analiza obrońców

Ten rozdział przedstawia inny algorytm grupowania – algorytm k-średnich – oraz jego implementację w SciPy. Algorytm k-średnich przezwycięża największą wadę grupowania hierarchicznego omówioną w poprzednim rozdziale. Ponieważ dendrogramy są charakterystyczne dla grupowania hierarchicznego, ten rozdział omawia jedną z metod wyznaczania liczby skupień przed uruchomieniem algorytmu k-średnich. Rozdział kończy się omówieniem ograniczeń algorytmu k-średnich oraz wskazówkami dotyczącymi jego stosowania.

Exercise 1: Podstawy klasteryzacji k-means Exercise 2: K-means: pierwsze ćwiczenie Exercise 3: Czas działania algorytmu k-means Exercise 4: Ile klastrów?Exercise 5: Metoda łokcia na wyraźnie rozdzielonych skupiskach Exercise 6: Metoda łokcia na danych jednorodnych Exercise 7: Ograniczenia klasteryzacji k-średnich Exercise 8: Wpływ ziarna na odrębne klastry Exercise 9: Jednolite wzorce grupowania Exercise 10: FIFA 18: obrońcy – powrót do tematu

Znając już dwie najpopularniejsze techniki grupowania, możesz zastosować tę wiedzę w praktyce. Rozdział rozpoczyna się od procesu znajdowania dominujących kolorów na obrazie, a następnie przechodzi do problemu wspomnianego we wprowadzeniu – grupowania artykułów prasowych. Rozdział kończy się omówieniem grupowania z wieloma zmiennymi, które utrudnia wizualizację wszystkich danych.

Exercise 1: Dominujące kolory na obrazach Exercise 2: Wyodrębnianie wartości RGB z obrazu Exercise 3: Ile dominujących kolorów?Exercise 4: Wyświetlanie dominujących kolorów Exercise 5: Klastrowanie dokumentów Exercise 6: TF-IDF opisów filmów

Bieżące ćwiczenie

Exercise 7: Najważniejsze termy w klastrach filmów Exercise 8: Grupowanie z wieloma cechami Exercise 9: Grupowanie z wieloma cechami Exercise 10: Podstawowe sprawdzenie klastrów Exercise 11: FIFA 18: co tworzy kompletnego piłkarza?Exercise 12: Do zobaczenia!