Regrouper des articles Wikipédia – partie II

Il est maintenant temps de mettre au travail votre pipeline de l'exercice précédent ! On vous fournit un tableau articles contenant les fréquences de mots tf-idf de certains articles Wikipédia populaires, ainsi qu'une liste titles de leurs titres. Utilisez votre pipeline pour regrouper les articles Wikipédia.

Une solution à l'exercice précédent a été préchargée pour vous ; un objet Pipeline pipeline enchaînant TruncatedSVD et KMeans est donc disponible.

Cette activité fait partie du cours

Unsupervised Learning in Python

Instructions de l’exercice

Importez pandas sous le nom pd.
Ajustez le pipeline au tableau de fréquences de mots articles.
Prédisez les étiquettes de regroupement.
Alignez les étiquettes de regroupement avec la liste titles des titres d'articles en créant un DataFrame df avec labels et titles comme colonnes. Cela a été fait pour vous.
Utilisez la méthode .sort_values() de df pour trier le DataFrame selon la colonne 'label', puis affichez le résultat.
Appuyez sur Soumettre et prenez un moment pour examiner votre superbe regroupement de pages Wikipédia !

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import pandas
____

# Fit the pipeline to articles
____

# Calculate the cluster labels: labels
labels = ____

# Create a DataFrame aligning labels and titles: df
df = pd.DataFrame({'label': labels, 'article': titles})

# Display df sorted by cluster label
print(____)

Modifier et exécuter le code

Cette activité fait partie du cours

Unsupervised Learning in Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Apprenez à découvrir les groupes sous-jacents (ou « grappes ») dans un jeu de données. À la fin de ce chapitre, vous regrouperez des entreprises selon leurs cours boursiers et vous distinguerez différentes espèces en les regroupant à partir de leurs mesures.

Exercise 1: Apprentissage non supervisé Exercise 2: Combien de grappes?Exercise 3: Regrouper des points 2D Exercise 4: Inspecter votre regroupement Exercise 5: Évaluer un groupement Exercise 6: Combien de groupes de grains ?Exercise 7: Évaluer le regroupement des grains Exercise 8: Transformer les caractéristiques pour de meilleurs groupements Exercise 9: Normaliser des données de poissons pour le regroupement Exercise 10: Regrouper les données sur les poissons Exercise 11: Regrouper des actions avec KMeans Exercise 12: Quelles actions évoluent ensemble ?

Dans ce chapitre, vous verrez deux techniques d'apprentissage non supervisé pour la visualisation de données : le regroupement hiérarchique et t-SNE. Le regroupement hiérarchique fusionne progressivement les échantillons en grappes de plus en plus larges, ce qui produit une visualisation en arbre de la hiérarchie obtenue. t-SNE projette les échantillons dans un espace 2D afin de visualiser leur proximité mutuelle.

Exercise 1: Visualiser des hiérarchies Exercise 2: Combien de fusions ?Exercise 3: Regroupement hiérarchique des données de grains Exercise 4: Hiérarchies de titres boursiers Exercise 5: Étiquettes de regroupement en classification hiérarchique Exercise 6: Quels groupements sont les plus proches?Exercise 7: Chaînage différent, regroupement hiérarchique différent !Exercise 8: Regroupements intermédiaires Exercise 9: Extraire les étiquettes de grappes Exercise 10: t-SNE pour des cartes en 2 dimensions Exercise 11: Visualisation t-SNE du jeu de données sur les grains Exercise 12: Une carte t-SNE du marché boursier

La réduction de dimension résume un jeu de données à l'aide de ses motifs récurrents. Dans ce chapitre, vous étudierez la technique la plus fondamentale de réduction de dimension, l'« Analyse en composantes principales » (« PCA »). La PCA est souvent utilisée avant l'apprentissage supervisé pour améliorer la performance et la généralisation des modèles. Elle peut aussi être utile en apprentissage non supervisé. Par exemple, vous utiliserez une variante de la PCA qui vous permettra de regrouper des articles de Wikipédia selon leur contenu !

Exercise 1: Visualiser la transformation par ACP Exercise 2: Données corrélées dans la nature Exercise 3: Décorréler les mesures des grains avec la PCA Exercise 4: Composantes principales Exercise 5: Dimension intrinsèque Exercise 6: La première composante principale Exercise 7: Variance des caractéristiques de la PCA Exercise 8: Dimension intrinsèque des données sur les poissons Exercise 9: Réduction de dimension avec l'ACP Exercise 10: Réduction de dimension des mesures des poissons Exercise 11: Un tableau de fréquences de mots tf-idf Exercise 12: Regrouper des pages Wikipédia, partie I Exercise 13: Regrouper des articles Wikipédia – partie II

Exercice en cours

Dans ce chapitre, vous apprendrez une technique de réduction de dimension appelée « Factorisation en matrices non négatives » (« NMF ») qui exprime les échantillons comme des combinaisons de parties interprétables. Par exemple, elle représente des documents comme des combinaisons de sujets, et des images en fonction de motifs visuels fréquents. Vous apprendrez aussi à utiliser la NMF pour construire des systèmes de recommandation capables de vous proposer des articles similaires à lire ou des artistes musicaux en fonction de votre historique d'écoute !

Exercise 1: Factorisation matricielle non négative (NMF)Exercise 2: Données non négatives Exercise 3: NMF appliquée aux articles de Wikipédia Exercise 4: Caractéristiques NMF des articles Wikipédia Exercise 5: La NMF reconstruit les échantillons Exercise 6: La NMF apprend des composantes interprétables Exercise 7: NMF apprend les thèmes des documents Exercise 8: Explorer l'ensemble de données des chiffres à DEL Exercise 9: NMF apprend les parties des images Exercise 10: La PCA n'apprend pas des parties Exercise 11: Créer des systèmes de recommandation avec la NMF Exercise 12: Quels articles sont similaires à « Cristiano Ronaldo » ?Exercise 13: Recommander des artistes musicaux, partie I Exercise 14: Recommander des artistes musicaux, partie II Exercise 15: Dernières réflexions