In this chapter, you will be introduced to fundamental concepts in model-based clustering and how this approach differs from other clustering techniques. You will learn the generating process of Gaussian Mixture Models as well as how to visualize the clusters.

Introduction to model-based clustering

Clustering approaches

Explore gender data

Gaussian distribution

Sampling a Gaussian distribution

(not so good) Estimations of the mean and sd

Gaussian mixture models (GMM)

Simulate a mixture of two Gaussian distributions

Plot histogram of Gaussian Mixture

Mixture of three Gaussian distributions

Introduction to Mixture Models

In this chapter, you will be introduced to the main structure of Mixture Models, how to address different data with this approach and how to estimate the parameters involved. To accomplish the estimation, you will learn an iterative method called Expectation-Maximization algorithm.

Structure of mixture models

Which probability distribution?

Handwritten digits dataset

Parameters estimation

Estimation given the probabilities

Calculating the probabilities

EM algorithm

Expectation function

Maximization function

Apply the two steps

Plot the estimated clusters

Structure of Mixture Models and Parameters Estimation

This chapter shows how to fit Gaussian Mixture Models in 1 and 2 dimensions with `flexmix` package. The data used is formed by 10.000 observations of people with their weight, height, body mass index and informed gender.

Univariate Gaussian Mixture Models

Number of clusters

Number of parameters

Univariate Gaussian Mixture Models with flexmix

Univariate case with flexmix

Extracting Parameters for Univariate Case

Visualizing Univariate Gaussian Mixture Model

Compare the results

Bivariate Gaussian Mixture Models

Cross-term from covariance matrix

Parameters in the bivariate case

Bivariate Gaussian Mixture Models with flexmix

Fit the model with cross-terms

Get the components

Create the ellipses

Visualize the clusters

Mixture of Gaussians with `flexmix`

In this module, you will learn how Mixture Models extends to consider probability distributions different from the Gaussian and how these models are fitted with `flexmix`. The datasets used are handwritten digits images and the number of crimes in Chicago city. For the first dataset you will find clusters that summarize the handwritten digits and for the second dataset, you will find clusters of communities where is more or less dangerous to live in.

Bernoulli-mengmodellen

Binaire afbeeldingen

Hoeveel waarden?

Bernoulli-mixturemodellen met flexmix

Handgeschreven cijfers met `flexmix`

Poisson-mengmodellen

Ontdek de lambda

Steekproef uit een Poisson-verdeling

Poisson-mixturemodellen met flexmix

Crimes-gegevens met `flexmix`

Mixture Models Beyond Gaussians

Chicago Crimes dataset

Digits dataset

Gender dataset

Mixture modeling is een manier om populaties te beschrijven wanneer we geïnteresseerd zijn in hun heterogeniteit. Mixture models gebruiken bekende kansverdelingen (bijv. Gaussisch, Poisson, Binomiaal) om een handig maar formeel statistisch kader te bieden voor clusteren en classificatie. In tegenstelling tot standaard clusteringbenaderingen kunnen we de kans schatten dat een observatie tot een cluster behoort en conclusies trekken over de subpopulaties. In een marketingcontext wil je bijvoorbeeld verschillende klantgroepen clusteren en hun respectieve kansen bepalen om specifieke producten te kopen, zodat je ze gerichter kunt benaderen met maatwerkacties. Bij het toepassen van natural language processing op een grote set documenten wil je documenten wellicht in onderwerpen clusteren en begrijpen hoe belangrijk elk onderwerp is binnen elk document. In deze cursus leer je wat Mixture Models zijn, hoe ze worden geschat en wanneer het passend is om ze toe te passen!

Intermediate R

Introduction to the Tidyverse

Foundations of Probability in R

Leer mengmodellen: een handig statistisch kader voor probabilistische clustering en classificatie.

Mixture Models in R

Leer over mengmodellen: een handig en formeel statistisch kader voor probabilistische clustering en classificatie.

Ontdek de lambda

Mixture Models in R

Praktische interactieve oefening