Calcul des probabilités

Dans le dernier exercice, vous avez vu comment estimer les moyennes et les proportions lorsque les probabilités sont fournies. L’objectif de cet exercice est d’estimer les probabilités lorsque les moyennes et les proportions sont connues. Supposons que les moyennes des clusters 1 et 2 soient respectivement 10 et 50, et que le cluster 1 représente 35 % de la population.

De plus, comme nous nous concentrons uniquement sur l’estimation des paramètres, supposons que les deux sd valent 10. Le jeu de données gaussian_sample est disponible dans votre espace de travail.

Cet exercice fait partie du cours

<cours>Modèles de mélange en R</cours>

Instructions de l’exercice

Créez un nouveau data frame appelé gaussian_sample_with_probs contenant les estimations des probabilités pour les clusters 1 et 2. Pour cela, créez deux nouvelles variables nommées prob_cluster1 et prob_cluster2. N’oubliez pas de normaliser les probabilités.
Affichez les 6 premières observations de gaussian_sample_with_probs.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create data frame with probabilities
gaussian_sample_with_probs <- gaussian_sample %>% 
  ___(prob_from_cluster1 = 0.35 * ___(___, mean = 10, sd = 10),
         prob_from_cluster2 = 0.65 * dnorm(___, mean = 50, sd = 10),
         prob_cluster1 = ___/(prob_from_cluster1 + prob_from_cluster2),
         prob_cluster2 = ___/(prob_from_cluster1 + prob_from_cluster2)) %>%
  select(x, prob_cluster1, prob_cluster2) 
         
head(___)

Modifier et exécuter le code

Cet exercice fait partie du cours

<cours>Modèles de mélange en R</cours>

IntermédiaireNiveau de compétence

4.7+

Commencer le cours gratuitement

Dans ce chapitre, vous découvrirez les concepts fondamentaux du clustering fondé sur les modèles et en quoi cette approche diffère des autres techniques de clustering. Vous apprendrez le processus génératif des modèles de mélange gaussiens et comment visualiser les clusters.

Exercise 1: Introduction au clustering basé sur des modèles Exercise 2: Approches de clustering Exercise 3: Explorer les données de genre Exercise 4: Loi gaussienne Exercise 5: Échantillonner une distribution gaussienne Exercise 6: (pas si bonnes) Estimations de la moyenne et de l’écart-type Exercise 7: Mélanges gaussiens (GMM)Exercise 8: Simuler un mélange de deux distributions gaussiennes Exercise 9: Tracer l’histogramme d’un mélange gaussien Exercise 10: Mélange de trois lois gaussiennes

Dans ce chapitre, vous verrez la structure principale des modèles de mélange, comment aborder différents types de données avec cette approche et comment estimer les paramètres en jeu. Pour réaliser l’estimation, vous apprendrez une méthode itérative appelée algorithme d’Expectation-Maximization.

Exercise 1: Structure des modèles de mélange Exercise 2: Quelle loi de probabilité ?Exercise 3: Jeu de données de chiffres manuscrits Exercise 4: Estimation des paramètres Exercise 5: Estimation à partir des probabilités Exercise 6: Calcul des probabilités

Exercice actuel

Exercise 7: Algorithme EM Exercise 8: Fonction d’expectation Exercise 9: Fonction de maximisation Exercise 10: Appliquer les deux étapes Exercise 11: Tracer les clusters estimés

Ce chapitre montre comment ajuster des modèles de mélange gaussiens en 1 et 2 dimensions avec le package `flexmix`. Les données utilisées se composent de 10 000 observations de personnes avec leur poids, taille, indice de masse corporelle et genre déclaré.

Exercise 1: Mélanges gaussiens univariés Exercise 2: Nombre de clusters Exercise 3: Nombre de paramètres Exercise 4: Mélanges gaussiens univariés avec flexmix Exercise 5: Cas univarié avec flexmix Exercise 6: Extraire les paramètres pour le cas univarié Exercise 7: Visualiser un modèle de mélange gaussien univarié Exercise 8: Comparer les résultats Exercise 9: Mélanges gaussiens bivariés Exercise 10: Terme croisé de la matrice de covariance Exercise 11: Paramètres dans le cas bivarié Exercise 12: Mélanges gaussiens bivariés avec flexmix Exercise 13: Ajuster le modèle avec termes croisés Exercise 14: Extraire les composantes Exercise 15: Tracer les ellipses Exercise 16: Visualiser les clusters

Dans ce module, vous apprendrez comment les modèles de mélange s’étendent à des lois de probabilité autres que la gaussienne et comment ces modèles sont ajustés avec `flexmix`. Les jeux de données utilisés sont des images de chiffres manuscrits et le nombre de crimes dans la ville de Chicago. Pour le premier jeu de données, vous trouverez des clusters qui résument les chiffres manuscrits et pour le second, vous identifierez des clusters de communautés où il est plus ou moins dangereux de vivre.

Exercise 1: Modèles de mélange de Bernoulli Exercise 2: Images binaires Exercise 3: Combien de valeurs ?Exercise 4: Modèles de mélange de Bernoulli avec flexmix Exercise 5: Chiffres manuscrits avec `flexmix`Exercise 6: Modèles de mélange de Poisson Exercise 7: Découvrir le lambda Exercise 8: Échantillonnage depuis une loi de Poisson Exercise 9: Modèles de mélange de Poisson avec flexmix Exercise 10: Données sur les crimes avec `flexmix`