Zjistíš, jak se Spark a R vzájemně doplňují, jak přenášet data do Sparku a ze Sparku a jak pracovat se Spark datovými rámci pomocí syntaxe dplyr.

Začínáme

Stvořeni jeden pro druhého

Tady číhají draci

Vzor připoj – pracuj – odpoj

Kopírování dat do Sparku

Velká data, malinký tibble

Zkoumání struktury tibble

Výběr sloupců

Filtrování řádků

Řazení řádků

Přidávání sloupců pomocí mutate()

Sumarizace sloupců

Rozehřívací kolo: začínáme se Sparkem a syntaxí dplyr

Dozvíš se víc o práci s rozhraním <code>dplyr</code> pro Spark – včetně pokročilého výběru sloupců, výpočtu skupinových statistik a spojování datových rámců.

Postup na vyšší úroveň

Pomocníci při výběru sloupců (1)

Pomocníci při výběru sloupců (2)

Výběr unikátních řádků

Nejčastější jména

Stažení dat ze Sparku zpět do R

Ukládání mezivýsledků

Skupiny: skvělé pro hudbu i pro data

Skupinové mutace

Pokročilý výběr II: SQL

Left joins

Anti join

Semi join

Nástroje řemesla: pokročilé použití dplyr

Seznámíš se s funkcemi Sparku pro transformaci dat v rámci strojového učení a s možnostmi manipulace s nativními DataFrames.

Dvě nová rozhraní

Dvojitý popcornový program

Převod spojitých proměnných na logické

Transformace spojitých proměnných na kategorické (1)

Převod spojitých proměnných na kategorické (2)

Víc než slova: tokenizace (1)

Víc než slova: tokenizace (2)

Víc než slova: tokenizace (3)

Řazení: sdf_sort vs. arrange

Prozkoumání datových typů ve Sparku

Zmenšení dat pomocí vzorkování

Trénovací a testovací rozdělení

Nativní přístup: manipulace se Spark DataFrames pomocí nativního rozhraní

Případová studie, ve které se pomocí rutin strojového učení z balíčku <code>sparklyr</code> naučíš předpovídat rok vydání písně.

Strojové učení na Sparku

Funkce pro Machine Learning

Hele, co to hraje?

Práce se soubory parquet

Dáme to dohromady

Rozdělení dat s ohledem na skupinový efekt

Gradient boosted trees: tvorba modelu

Gradient boosted trees: predikce

Gradient boosted trees: vizualizace

Random Forest: tvorba modelu

Random Forest: predikce

Random Forest: vizualizace

Porovnání výkonu modelů

Případová studie: strojové učení v praxi – spouštění modelů na Sparku

Title text parquet

Track data to predict parquet

Track data to model parquet

Timbre parquet

Gbt-model-responses

Left-join

Inner-join

Residual density

Track data parquet

Semi-join

Timbre

Anti-join

Predicted vs actual

Track metadata

Both-model-responses

R je optimalizované pro rychlé a přehledné psaní kódu pro analýzu dat. Apache Spark je navržený k rychlé analýze obrovských datasetů. Balíček sparklyr ti umožňuje psát dplyr kód v R, který běží na Spark clusteru – a tak získáš to nejlepší z obou světů. V tomto kurzu se naučíš pracovat se Spark DataFrames pomocí rozhraní dplyr i nativního rozhraní Sparku a vyzkoušíš si také techniky strojového učení. V průběhu celého kurzu budeš pracovat s Million Song Dataset.

<h2>Objevte výhody R, Sparku a sparklyr </h2>
R je z velké části optimalizovaný tak, aby vám pomohl rychle a přehledně psát kód pro analýzu dat. Apache Spark je navržen pro rychlou analýzu obrovských datových sad. Balíček sparklyr vám umožňuje psát kód dplyr v R, který běží na clusteru Spark, takže získáte to nejlepší z obou světů. Tento 4hodinový kurz vás naučí, jak pracovat s datovými rámci Spark pomocí rozhraní dplyr i nativního rozhraní Spark, a také jak vyzkoušet techniky strojového učení. 
<br><br>
<h2>Načtěte data do Sparku a pracujte s datovými rámci Spark DataFrames </h2>
V tomto kurzu Spark začneš zkoumáním, jak Spark a R dobře spolupracují, a procvičíš si načítání dat, abys je mohl/a připravit na čištění, transformaci a analýzu. K manipulaci s daty budete používat Spark frames a syntaxi dplyr pro filtrování a řazení řádků a pro úpravu a sumarizaci sloupců. 
<br><br>
<h2>Ponořte se do analýzy velkých dat se Spark MLib </h2>
Tento kurz se zaměřuje na rozvoj vašich dovedností a sebejistoty při analýze obrovských datových sad. Závěrečné kapitoly vás provedou funkcemi Spark pro transformaci dat pro strojové učení a nabídnou vám možnost procvičit si rutiny strojového učení v sparklyr pomocí predikcí s využitím gradient boosted trees a random forests. "

Supervised Learning in R: Regression

Naučte se používat Apache Spark a balíček sparklyr v R pro analýzu velkých dat pomocí strojového učení.

Úvod do Sparku se sparklyr v R

Nauč se provádět analýzu velkých dat pomocí Spark a balíčku sparklyr v R a prozkoumej Spark MLIb za pouhé 4 hodiny. 

Začínáme

Create Your Free Account