Spark je framework pro práci s velkými daty. V této kapitole získáš přehled o Sparku a strojovém učení. Pak zjistíš, jak se ke Sparku připojit pomocí Pythonu a jak načíst data ve formátu CSV.

Machine Learning & Spark

Vlastnosti Sparku

Komponenty Spark clusteru

Připojení ke Sparku

Umístění Spark masteru

Vytvoření SparkSession

Načítání dat

Načítání dat o letech

Načítání SMS spamových dat

Úvod

Teď, když umíš dostat data do Sparku, se pustíš do tvorby dvou typů klasifikačních modelů: rozhodovacích stromů a logistické regrese. Zároveň se seznámíš s několika přístupy k přípravě dat.

Příprava dat

Odstraňování sloupců a řádků

Manipulace se sloupci

Kategorické sloupce

Sestavení sloupců

Rozhodovací strom

Rozdělení na trénovací a testovací sadu

Sestavení rozhodovacího stromu

Vyhodnocení rozhodovacího stromu

Logistická regrese

Sestavení modelu logistické regrese

Vyhodnocení modelu logistické regrese

Převod textu na tabulky

Interpunkce, čísla a tokeny

Stopslova a hašování

Trénování klasifikátoru spamu

Klasifikace

Dále se naučíš vytvářet modely lineární regrese. Zjistíš také, jak obohatit svá data vytvářením nových prediktorů a jak spolehlivě vybrat jen ty nejrelevantnější z nich.

One-Hot Encoding

Kódování letiště odletu

Enkódování velikostí triček

Regrese

Model doby letu: Pouze vzdálenost

Interpretace koeficientů

Model doby letu: Přidání výchozího letiště

Bucketing & Engineering

Rozdělení času odletu do intervalů

Model doby letu: Přidání času odletu

Regularizace

Model doby letu: Více příznaků!

Model doby letu: Regularizace!

V závěrečné kapitole se naučíš, jak zefektivnit své modely. Zjistíš, jak používat pipeline, aby byl tvůj kód přehlednější a snáze udržovatelný. Pak využiješ křížovou validaci k lepšímu testování modelů a výběru vhodných parametrů. Nakonec si vyzkoušíš dva typy ensemble modelů.

Pipeline

Model doby letu: fáze pipeline

Model doby letu: pipeline model

Pipeline pro detekci SMS spamu

Křížová validace

Křížová validace jednoduchého modelu doby letu

Křížová validace pipeline modelu pro délku letu

Grid Search

Optimalizace lineární regrese pro lety

Rozbor nejlepšího modelu délky letu

Optimalizace filtru SMS spamu

How many models for grid search?

Ensemble

Zpožděné lety s Gradient-Boosted Trees

Zpožděné lety s Random Forest

Vyhodnocení Random Forest

Závěrečné myšlenky

Ensemble modely a pipeline

Flights

Spark je výkonný univerzální nástroj pro práci s velkými daty (Big Data). Transparentně rozděluje výpočetní úlohy napříč clusterem – operace jsou rychlé a ty se můžeš soustředit na analýzu, aniž bys řešil/a technické detaily. V tomto kurzu se naučíš, jak dostat data do Sparku, a pak se ponoříš do tří základních algoritmů strojového učení: lineární regrese, logistické regrese a klasifikátorů a tvorby pipeline. Cestou budeš analyzovat rozsáhlou sadu dat o zpožděních letů a spamových SMS. S touto průpravou budeš připraven/a využít plný potenciál Sparku a uplatnit ho ve vlastních projektech strojového učení!

<h2>Naučte se používat Apache Spark pro strojové učení</h2> 
Spark je výkonný univerzální nástroj pro práci s Big Data. Spark transparentně zpracovává distribuci výpočetních úloh napříč clusterem. To znamená, že operace jsou rychlé, ale zároveň se můžete soustředit na analýzu místo toho, abyste se starali o technické detaily. V tomto kurzu se naučíte, jak dostat data do Sparku, a poté se ponoříte do tří základních algoritmů strojového učení ve Sparku: Lineární regrese, logistická regrese/klasifikátory a vytváření pipeline.
<br><br> 
<h2>Vytvářejte a testujte rozhodovací stromy</h2> 
Vytváření vlastních rozhodovacích stromů je skvělý způsob, jak začít objevovat modely strojového učení. Použijete algoritmus nazývaný „rekurzivní dělení“ k rozdělení dat do dvou tříd a nalezení prediktoru ve vašich datech, který vede k nejinformativnějšímu rozdělení těchto dvou tříd, a tuto činnost budete opakovat s dalšími uzly. Poté můžete pomocí svého rozhodovacího stromu vytvářet předpovědi s novými daty.
<br><br> 
<h2>Ovládněte logistickou a lineární regresi v PySpark</h2> 
Logistická a lineární regrese jsou základní techniky strojového učení, které podporuje PySpark. Naučíte se vytvářet a vyhodnocovat modely logistické regrese a poté přejdete k tvorbě modelů lineární regrese, které vám pomohou zpřesnit prediktory jen na ty nejrelevantnější možnosti.
<br><br> 
Na konci kurzu budete mít jistotu v uplatňování nově nabytých znalostí strojového učení díky praktickým úkolům a cvičným datovým sadám, které jsou rozesety po celém kurzu.

Supervised Learning with scikit-learn

Introduction to PySpark

Naučte se předpovídat z dat pomocí Apache Spark: rozhodovací stromy, regrese, ensemble, pipeline.

Machine Learning with PySpark

Naučte se vytvářet predikce z dat s Apache Spark pomocí decision trees, logistic regression, linear regression, ensembles a pipelines.

Regrese

Create Your Free Account