V této kapitole se seznámíš se základními koncepty shlukování založeného na modelech a s tím, čím se tento přístup liší od ostatních technik shlukování. Naučíš se, jak probíhá generující proces Gaussových směsových modelů, a také jak vizualizovat shluky.

Úvod do shlukování pomocí modelů

Přístupy ke shlukování

Prozkoumej data o pohlaví

Gaussovo rozdělení

Vzorkování Gaussova rozdělení

(ne tak dobrý) Odhady střední hodnoty a směrodatné odchylky

Gaussovy směsné modely (GMM)

Simulace směsi dvou Gaussových rozdělení

Histogram směsi gaussových rozdělení

Směs tří Gaussových rozdělení

Úvod do Mixture Models

V této kapitole se seznámíš s hlavní strukturou Mixture Models, s tím, jak tento přístup použít na různá data, a jak odhadovat zapojené parametry. Pro odhad se naučíš iterativní metodu zvanou algoritmus Expectation-Maximization.

Struktura směsných modelů

Které rozdělení pravděpodobnosti?

Datová sada ručně psaných číslic

Odhad parametrů

Odhad parametrů při znalosti pravděpodobností

Výpočet pravděpodobností

EM algoritmus

Funkce expectation

Funkce maximalizace

Použití obou kroků

Vizualizace odhadnutých clusterů

Struktura Mixture Models a odhad parametrů

Tato kapitola ukazuje, jak fitovat Gaussovy směsové modely v 1 a 2 dimenzích pomocí balíčku `flexmix`. Použitá data tvoří 10 000 pozorování osob s jejich váhou, výškou, indexem tělesné hmotnosti a uvedeným pohlavím.

Jednorozměrné gaussovské směsné modely

Počet shluků

Počet parametrů

Jednorozměrné směsi Gaussových rozdělení s flexmix

Jednorozměrný případ s flexmix

Extrakce parametrů pro jednorozměrný případ

Vizualizace jednorozměrného Gaussova směsného modelu

Porovnání výsledků

Bivariátní gaussovské směsné modely

Křížový člen kovarianční matice

Parametry v bivariátním případě

Bivariátní Gaussovy směsné modely s flexmix

Natrénuj model s křížovými členy

Získání komponent

Vytvoření elips

Vizualizace clusterů

Mixture of Gaussians s `flexmix`

V tomto modulu se naučíš, jak Mixture Models rozšiřují práci s pravděpodobnostními rozděleními nad rámec Gaussova rozdělení a jak se tyto modely fitují pomocí `flexmix`. Použité datasety obsahují obrázky ručně psaných číslic a počty trestných činů ve městě Chicago. V prvním datasetu najdeš shluky, které sumarizují ručně psané číslice, a ve druhém shluky komunit, kde je život více či méně bezpečný.

Směsi Bernoulliho rozdělení

Binární obrázky

Kolik hodnot?

Bernoulliho směsné modely s flexmix

Ručně psané číslice s `flexmix`

Poissonovy směsné modely

Zjisti hodnotu lambda

Vzorkování z Poissonova rozdělení

Poissonovy směsné modely s flexmix

Data o kriminalitě s `flexmix`

Mixture Models nad rámec Gaussových rozdělení

Chicago Crimes dataset

Digits dataset

Gender dataset

Mixture modeling je způsob, jak reprezentovat populace, když nás zajímá jejich heterogenita. Mixture models využívají dobře známá pravděpodobnostní rozdělení (např. Gaussovo, Poissonovo, Binomické) a poskytují pohodlný, ale formální statistický rámec pro shlukování a klasifikaci. Na rozdíl od standardních přístupů ke shlukování můžeme odhadnout pravděpodobnost příslušnosti ke shluku a dělat závěry o dílčích populacích. Například v kontextu marketingu možná chceš shlukovat různé skupiny zákazníků a zjistit jejich pravděpodobnosti nákupu konkrétních produktů, abys je mohl/a lépe cílit vlastními nabídkami. Při zpracování přirozeného jazyka na rozsáhlé sadě dokumentů možná chceš shlukovat dokumenty do různých témat a pochopit, jak důležité je každé téma napříč jednotlivými dokumenty. V tomto kurzu se naučíš, co jsou Mixture Models, jak se odhadují a kdy je vhodné je použít!

Intermediate R

Introduction to the Tidyverse

Foundations of Probability in R

Naučte se směsové modely: statistický rámec pro pravděpodobnostní shlukování a klasifikaci.

Mixture Models v R

Naučte se modely směsí: pohodlný a formální statistický rámec pro pravděpodobnostní shlukování a klasifikaci.

Gaussovy směsné modely (GMM)

Create Your Free Account