Grupowanie artykułów Wikipedii – część II

Czas wykorzystać potok zbudowany w poprzednim ćwiczeniu! Masz do dyspozycji tablicę articles z częstościami słów w postaci tf-idf dla wybranych popularnych artykułów z Wikipedii oraz listę titles z ich tytułami. Użyj swojego potoku, aby pogrupować te artykuły.

Rozwiązanie poprzedniego ćwiczenia zostało już wczytane, więc potok pipeline łączący TruncatedSVD z KMeans jest gotowy do użycia.

To ćwiczenie jest częścią kursu

Uczenie nienadzorowane w Pythonie

Instrukcje do ćwiczenia

Zaimportuj pandas jako pd.
Dopasuj potok do tablicy częstości słów articles.
Przewidź etykiety skupień.
Połącz etykiety skupień z listą tytułów artykułów titles, tworząc ramkę danych df z kolumnami labels i titles. Ten krok został już wykonany za ciebie.
Użyj metody .sort_values() na df, aby posortować ramkę danych według kolumny 'label', i wydrukuj wynik.
Kliknij Prześlij odpowiedź i poświęć chwilę, żeby przyjrzeć się efektom grupowania artykułów Wikipedii!

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import pandas
____

# Fit the pipeline to articles
____

# Calculate the cluster labels: labels
labels = ____

# Create a DataFrame aligning labels and titles: df
df = pd.DataFrame({'label': labels, 'article': titles})

# Display df sorted by cluster label
print(____)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie nienadzorowane w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Naucz się odkrywać ukryte grupy (czyli „klastry") w zbiorze danych. Pod koniec tego rozdziału będziesz grupować spółki na podstawie cen ich akcji oraz rozróżniać różne gatunki na podstawie ich pomiarów.

Exercise 1: Uczenie nienadzorowane Exercise 2: Ile klastrów?Exercise 3: Grupowanie punktów 2D Exercise 4: Zbadaj wyniki klastrowania Exercise 5: Ocena grupowania Exercise 6: Ile skupień dla ziaren?Exercise 7: Ocena grupowania ziaren Exercise 8: Przekształcanie cech dla lepszego grupowania Exercise 9: Skalowanie danych o rybach przed grupowaniem Exercise 10: Klastrowanie danych o rybach Exercise 11: Klasteryzacja akcji za pomocą KMeans Exercise 12: Które akcje poruszają się razem?

W tym rozdziale poznasz dwie techniki uczenia nienadzorowanego służące do wizualizacji danych: klasteryzację hierarchiczną oraz t-SNE. Klasteryzacja hierarchiczna łączy próbki danych w coraz szersze grupy, tworząc wizualizację wynikowej hierarchii klastrów w postaci drzewa. t-SNE odwzorowuje próbki danych w przestrzeni dwuwymiarowej, dzięki czemu można zwizualizować ich wzajemną bliskość.

Exercise 1: Wizualizacja hierarchii Exercise 2: Ile połączeń?Exercise 3: Grupowanie hierarchiczne danych o zbożach Exercise 4: Hierarchie akcji Exercise 5: Etykiety skupień w klastrowaniu hierarchicznym Exercise 6: Które klastry są najbliżej siebie?Exercise 7: Inne łączenie, inne grupowanie hierarchiczne!Exercise 8: Pośrednie grupowania Exercise 9: Wyodrębnianie etykiet klastrów Exercise 10: t-SNE – mapy dwuwymiarowe Exercise 11: Wizualizacja t-SNE zbioru danych o ziarnach Exercise 12: Mapa t-SNE rynku giełdowego

Redukcja wymiarowości pozwala streścić zbiór danych za pomocą jego najczęściej występujących wzorców. W tym rozdziale poznasz jedną z najważniejszych technik redukcji wymiarowości – „Analizę Głównych Składowych" (PCA). PCA jest często stosowana przed uczeniem nadzorowanym w celu poprawy wydajności i generalizacji modelu, ale sprawdza się również w uczeniu nienadzorowanym. Na przykład użyjesz wariantu PCA do grupowania artykułów z Wikipedii według ich treści!

Exercise 1: Wizualizacja transformacji PCA Exercise 2: Skorelowane dane w naturze Exercise 3: Usuwanie korelacji z pomiarów ziaren za pomocą PCA Exercise 4: Składowe główne Exercise 5: Wymiar wewnętrzny Exercise 6: Pierwszy główny składnik Exercise 7: Wariancja cech PCA Exercise 8: Wewnętrzny wymiar danych o rybach Exercise 9: Redukcja wymiarowości za pomocą PCA Exercise 10: Redukcja wymiarowości pomiarów ryb Exercise 11: Macierz częstości słów tf-idf Exercise 12: Klasteryzacja Wikipedii – część I Exercise 13: Grupowanie artykułów Wikipedii – część II

Bieżące ćwiczenie

W tym rozdziale poznasz technikę redukcji wymiarowości zwaną „nieujemną faktoryzacją macierzy" (NMF), która opisuje próbki jako kombinacje interpretowalnych elementów. Na przykład reprezentuje dokumenty jako kombinacje tematów, a obrazy – jako kombinacje często pojawiających się wzorców wizualnych. Nauczysz się też wykorzystywać NMF do budowy systemów rekomendacji, które mogą podpowiadać podobne artykuły do przeczytania lub artystów muzycznych pasujących do twoich upodobań!

Exercise 1: Nieujemna faktoryzacja macierzy (NMF)Exercise 2: Dane nieujemne Exercise 3: NMF zastosowane do artykułów z Wikipedii Exercise 4: Cechy NMF artykułów z Wikipedii Exercise 5: NMF rekonstruuje próbki Exercise 6: NMF uczy się interpretowalnych składowych Exercise 7: NMF odkrywa tematy dokumentów Exercise 8: Eksploracja zbioru danych cyfr LED Exercise 9: NMF uczy się części obrazów Exercise 10: PCA nie uczy się części składowych Exercise 11: Budowanie systemów rekomendacji z użyciem NMF Exercise 12: Które artykuły są podobne do artykułu o Cristiano Ronaldo?Exercise 13: Rekomendowanie artystów muzycznych – część I Exercise 14: Rekomendowanie artystów muzycznych – część II Exercise 15: Podsumowanie