Než se pustíš do práce, zjisti něco víc o svém problému! Pak se naučíš, jak statisticky i vizuálně prozkoumat svůj dataset.

Kde začít

Kde začít?

Kontrola verzí

Načtení dat

Definice problému

Co vlastně předpovídáme?

Ověření načtení dat

Ověřování datových typů

Vizuální průzkum dat / EDA

Použití Corr()

Vizualizace pomocí distplot

Vizualizace dat: lmplot

Průzkumná analýza dat

Reálná data jsou jen zřídka čistá a připravená k analýze. V této kapitole se naučíš odstraňovat zbytečné informace, pracovat s chybějícími hodnotami a doplňovat do analýzy další data.

Odstraňování dat

Odstranění seznamu sloupců

Filtrování textu pro odstranění záznamů

Podmíněné filtrování numerických polí

Úprava dat

Vlastní procentuální škálování

Škálování ve velkém

Oprava dat s pravostranným zkreslením

Práce s chybějícími daty

Vizualizace chybějících hodnot

Imputace chybějících hodnot

Výpočet podílu chybějících hodnot

Přidání dalších dat

Nebezpečný join

Spark SQL Join

Kontrola chybných joinů

Zpracování dat pomocí Spark funkcí

V této kapitole se naučíš vytvářet nové příznaky, ze kterých se bude tvůj model strojového učení učit. Podíváme se na to, jak je generovat kombinováním sloupců, extrakcí hodnot z nepřehledných polí nebo jejich kódováním pro lepší výsledky.

Tvorba příznaků

Rozdíly

Poměry

Hlubší příznaky

Časové příznaky

Časové složky

Spojení podle časových složek

Počítání s daty

Extrakce příznaků

Extrakce textu do nových příznaků

Rozdělení a rozbalení hodnot

Pivot & Join

Binarizace, bucketování a kódování

Binarizace dne v týdnu

Bucketování

One Hot Encoding

Feature Engineering

V této kapitole se naučíš, jak vybrat správný typ modelu. Pak se podíváme na to, jak na model aplikovat data a vyhodnotit jeho výsledky. Na závěr zjistíš, jak interpretovat výstupy a model uložit pro pozdější použití!

Výběr algoritmu

Který modul MLlib?

Rozdělení dat podle času

Úprava časových příznaků

Předpoklady feature engineeringu pro RFR

Feature Engineering pro Random Forests

Odstranění sloupců s nízkým počtem pozorování

Jednoduché zpracování chybějících a kategorických hodnot

Sestavení modelu

Sestavení regresního modelu

Vyhodnocení a porovnání algoritmů

Porozumění metrikám

Interpretace, ukládání a načítání

Interpretace výsledků

Ukládání a načítání modelů

Závěrečné myšlenky

Tvorba modelu

2017 St Paul MN Real Estate Dataset

Skutečný svět je plný nepořádku a tvým úkolem je v něm udělat pořádek. Vzorové datasety jako MTCars nebo Iris jsou výsledkem pečlivého výběru a čištění dat – a přesto je potřeba je před použitím transformovat, aby z nich výkonné algoritmy strojového učení dokázaly vytěžit smysluplné poznatky, předpovědi, klasifikace nebo shluky. Tento kurz se zaměří na detaily, na které datoví vědci tráví 70–80 % svého času: zpracování dat a feature engineering. S tím, jak datasety neustále rostou, využijeme PySpark k tomu, abychom si s tímto Big Data problémem poradili!

Supervised Learning with scikit-learn

Introduction to PySpark

Naučte se používat PySpark pro zpracování velkých dat a extrakci významu, předpovědi či klasifikaci.

Feature Engineering with PySpark

Naučte se podrobnosti, na které datoví vědci tráví 70–80 % času: data wrangling a feature engineering.

Předpoklady feature engineeringu pro RFR

Create Your Free Account