I det här kapitlet introduceras du till grundläggande begrepp inom modellbaserad klustring och hur denna metod skiljer sig från andra klustringsmetoder. Du lär dig hur gaussiska blandningsmodeller genereras samt hur du visualiserar klustren.

Introduktion till modellbaserad klustring

Klustringsmetoder

Utforska könsdata

Gaussfördelning

Sampla en gaussisk fördelning

(inte så bra) Skattningar av medelvärde och standardavvikelse

Gaussiska blandningsmodeller (GMM)

Simulera en blandning av två gaussiska fördelningar

Rita histogram över gaussisk blandningsmodell

Blandning av tre normalfördelningar

Introduktion till blandningsmodeller

I det här kapitlet introduceras du till huvudstrukturen hos blandningsmodeller, hur du hanterar olika typer av data med denna metod och hur du skattar de ingående parametrarna. För att genomföra skattningen lär du dig en iterativ metod som kallas Expectation-Maximization-algoritmen.

Blandningsmodellers struktur

Vilken sannolikhetsfördelning?

Datamängd med handskrivna siffror

Parameterskattning

Skattning givet sannolikheterna

Beräkna sannolikheterna

EM-algoritmen

Förväntningsfunktionen

Maximiseringsfunktionen

Tillämpa de två stegen

Visualisera de skattade klustren

Struktur hos blandningsmodeller och parametersskattning

Det här kapitlet visar hur du anpassar gaussiska blandningsmodeller i 1 och 2 dimensioner med paketet `flexmix`. Datamaterialet består av 10 000 observationer av personer med uppgifter om vikt, längd, kroppsmassaindex och angivet kön.

Univariata gaussiska blandningsmodeller

Antal kluster

Antal parametrar

Univariata gaussiska blandningsmodeller med flexmix

Univariat fall med flexmix

Extrahera parametrar för det univariata fallet

Visualisering av ett univariat gaussiskt blandningsmodell

Jämför resultaten

Bivariata gaussiska blandningsmodeller

Korsterme från kovariansmatrisen

Parametrar i det bivariata fallet

Bivariata gaussiska blandningsmodeller med flexmix

Anpassa modellen med korsterm

Hämta komponenterna

Skapa ellipserna

Visualisera klustren

Gaussiska blandningsmodeller med `flexmix`

I den här modulen lär du dig hur blandningsmodeller utvidgas till att hantera andra sannolikhetsfördelningar än den gaussiska, och hur dessa modeller anpassas med `flexmix`. De datamängder som används består av bilder på handskrivna siffror samt antal brott i Chicago. För den första datamängden identifierar du kluster som sammanfattar de handskrivna siffrorna, och för den andra hittar du kluster av stadsdelar där det är mer eller mindre farligt att bo.

Bernoulli-blandningsmodeller

Binära bilder

Hur många värden?

Bernoulli-blandningsmodeller med flexmix

Handskrivna siffror med `flexmix`

Poissonblandningsmodeller

Hitta lambda

Ta stickprov från Poissonfördelningen

Poissonblandningsmodeller med flexmix

Brottsdata med `flexmix`

Blandningsmodeller bortom gaussiska fördelningar

Chicago Crimes dataset

Digits dataset

Gender dataset

Blandningsmodellering är ett sätt att representera populationer när vi är intresserade av deras heterogenitet. Blandningsmodeller använder välkända sannolikhetsfördelningar (t.ex. gaussisk, Poisson, binomial) för att erbjuda ett formellt statistiskt ramverk för klustring och klassificering. Till skillnad från vanliga klustringsmetoder kan vi skatta sannolikheten för att tillhöra ett kluster och dra slutsatser om delpopulationerna. Inom marknadsföring kan du till exempel vilja klustra olika kundgrupper och beräkna deras respektive sannolikheter för att köpa specifika produkter – för att sedan rikta skräddarsydda erbjudanden till dem. När du tillämpar naturlig språkbehandling på en stor mängd dokument kan du vilja klustra dokumenten efter ämne och förstå hur viktigt varje ämne är i de olika dokumenten. I den här kursen lär du dig vad blandningsmodeller är, hur de skattas och när det är lämpligt att använda dem!

Intermediate R

Introduction to the Tidyverse

Foundations of Probability in R

Lär dig blandmodeller: ett statistiskt ramverk för probabilistisk klustring och klassificering.

Blandningsmodeller i R

Lär dig blandningsmodeller: ett praktiskt och formellt statistiskt ramverk för probabilistisk klustring och klassificering.

Gaussiska blandningsmodeller (GMM)

Create Your Free Account