Agrupamento de partes da Wikipédia II

Agora é hora de colocar o pipeline do exercício anterior em prática! Você recebe uma matriz articles de frequências de palavras tf-idf de alguns artigos populares da Wikipédia e uma lista titles de seus títulos. Use seu pipeline para agrupar os artigos da Wikipédia.

Uma solução para o exercício anterior foi pré-carregada para você, portanto, um Pipeline pipeline encadeandoSVD truncado com KMeans está disponível.

Este exercício faz parte do curso

Aprendizado não supervisionado em Python

Instruções de exercício

Importe pandas como pd.
Ajuste o pipeline à matriz de frequência de palavras articles.
Prever os rótulos de cluster.
Alinhe os rótulos de cluster com a lista titles de títulos de artigos criando um DataFrame df com labels e titles como colunas. Isso foi feito para você.
Use o método .sort_values() de df para classificar o DataFrame pela coluna 'label' e imprima o resultado.
Clique em enviar e reserve um momento para investigar seu incrível agrupamento de páginas da Wikipédia!

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

# Import pandas
____

# Fit the pipeline to articles
____

# Calculate the cluster labels: labels
labels = ____

# Create a DataFrame aligning labels and titles: df
df = pd.DataFrame({'label': labels, 'article': titles})

# Display df sorted by cluster label
print(____)

Editar e executar código

Este exercício faz parte do curso

Aprendizado não supervisionado em Python

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Saiba como descobrir os grupos subjacentes (ou "clusters") em um conjunto de dados. Ao final deste capítulo, você estará agrupando empresas usando seus preços no mercado de ações e distinguindo espécies diferentes agrupando suas medidas.

Exercise 1: Aprendizagem não supervisionada Exercise 2: Quantos clusters você tem?Exercise 3: Agrupamento de pontos 2D Exercise 4: Inspecione seu clustering Exercise 5: Avaliação de um clustering Exercise 6: Quantos cachos de grãos você tem?Exercise 7: Avaliação do agrupamento de grãos Exercise 8: Transformação de recursos para melhores agrupamentos Exercise 9: Dimensionamento de dados de peixes para agrupamento Exercise 10: Agrupamento dos dados de peixes Exercise 11: Agrupamento de ações usando KMeans Exercise 12: Quais ações se movem juntas?

Neste capítulo, você aprenderá sobre duas técnicas de aprendizado não supervisionado para visualização de dados, clustering hierárquico e t-SNE. O clustering hierárquico mescla as amostras de dados em clusters cada vez mais grossos, produzindo uma visualização em árvore da hierarquia de clusters resultante. t-SNE mapeia as amostras de dados no espaço 2d para que a proximidade das amostras entre si possa ser visualizada.

Exercise 1: Visualização de hierarquias Exercise 2: Quantas fusões você fez?Exercise 3: Agrupamento hierárquico dos dados de grãos Exercise 4: Hierarquias de estoques Exercise 5: Rótulos de cluster em clustering hierárquico Exercise 6: Quais clusters estão mais próximos?Exercise 7: Diferentes vínculos, diferentes agrupamentos hierárquicos!Exercise 8: Agrupamentos intermediários Exercise 9: Extração dos rótulos de cluster Exercise 10: t-SNE para mapas bidimensionais Exercise 11: t-SNE visualização do conjunto de dados de grãos Exercise 12: Um mapa t-SNE do mercado de ações

A redução de dimensão resume um conjunto de dados usando os padrões comuns que ocorrem. Neste capítulo, você aprenderá sobre a mais fundamental das técnicas de redução de dimensão, a "Análise de Componentes Principais" ("PCA"). PCA é frequentemente usado antes do aprendizado supervisionado para melhorar o desempenho e a generalização do modelo. Ele também pode ser útil para o aprendizado não supervisionado. Por exemplo, você empregará uma variante do PCA que permitirá agrupar artigos da Wikipédia por seu conteúdo!

Exercise 1: Visualizando a transformação PCA Exercise 2: Dados correlacionados na natureza Exercise 3: Decorrelacionando as medições de grãos com PCA Exercise 4: Componentes principais Exercise 5: Dimensão intrínseca Exercise 6: O primeiro componente principal Exercise 7: Variação dos recursos do site PCA Exercise 8: Dimensão intrínseca dos dados do peixe Exercise 9: Redução da dimensão com PCA Exercise 10: Redução da dimensão das medições de peixes Exercise 11: Uma matriz de frequência de palavras tf-idf Exercise 12: Agrupamento da Wikipédia parte I Exercise 13: Agrupamento de partes da Wikipédia II

Exercício atual

Neste capítulo, você aprenderá sobre uma técnica de redução de dimensão chamada "Fatoração de matriz não negativa" ("NMF") que expressa amostras como combinações de partes interpretáveis. Por exemplo, ele expressa documentos como combinações de tópicos e imagens em termos de padrões visuais que ocorrem com frequência. Você também aprenderá a usar o NMF para criar sistemas de recomendação que podem encontrar artigos semelhantes para você ler ou artistas musicais que correspondam ao seu histórico de audição!

Exercise 1: Fatoração de matriz não negativa (NMF)Exercise 2: Dados não negativos Exercise 3: NMF aplicado a artigos da Wikipédia Exercise 4: NMF recursos dos artigos da Wikipédia Exercise 5: NMF reconstrói amostras Exercise 6: NMF aprende partes interpretáveis Exercise 7: NMF aprende tópicos de documentos Exercise 8: Explore o conjunto de dados de LED dígitos Exercise 9: NMF aprende as partes das imagens Exercise 10: PCA não aprende as partes Exercise 11: Criação de sistemas de recomendação usando NMF Exercise 12: Quais artigos são semelhantes a "Cristiano Ronaldo"?Exercise 13: Recomendar artistas musicais - parte I Exercise 14: Recomendar a parte de artistas musicais II Exercise 15: Considerações finais