Tato kapitola tě uvede do fascinujícího světa velkých dat a představí různé koncepty a frameworky pro jejich zpracování. Pochopíš, proč je Apache Spark považován za nejlepší framework pro Big Data.

Co je Big Data?

Tři V Big Data

PySpark: Spark v Pythonu

Poznáváme SparkContext

Interaktivní použití PySparku

Načítání dat v prostředí PySpark shellu

Opakování funkcionálního programování v Pythonu

Použití lambda() s map()

Použití lambda() s filter()

Úvod do analýzy velkých dat se Sparkem

Základní abstrakcí, kterou Spark nabízí, je resilient distributed dataset (RDD) – klíčový datový typ tohoto enginu. Tato kapitola představuje RDD a ukazuje, jak je vytvářet a používat prostřednictvím transformací a akcí nad RDD.

Abstrakce dat pomocí RDD

RDD z paralelizovaných kolekcí

RDD z externích datových sad

Oddíly v datech

Základní transformace a akce s RDD

Map a Collect

Filtrování a počítání

Pair RDD v PySparku

ReduceByKey a Collect

SortByKey a Collect

Pokročilé akce s RDD

CountingBykeys

Vytvoř základní RDD a transformuj ho

Odstranění stop slov a redukce datasetu

Výpis frekvencí slov

Programování s PySpark RDD

V této kapitole se naučíš pracovat se Spark SQL – modulem Sparku pro zpracování strukturovaných dat. Poskytuje programovací abstrakci zvanou DataFrames a dokáže fungovat také jako distribuovaný SQL dotazovací engine. Kapitola ukazuje, jak Spark SQL umožňuje pracovat s DataFrames v Pythonu.

Abstrakce dat pomocí DataFrames

RDD na DataFrame

Načtení CSV do DataFrame

Operace s DataFrames v PySparku

Prozkoumání dat v PySpark DataFrame

Výběr podmnožiny a čištění dat v PySpark DataFrame

Filtrování DataFrame

Práce s DataFrames pomocí PySpark SQL

Spouštění SQL dotazů programově

SQL dotazy pro filtrování tabulky

Vizualizace dat v PySparku pomocí DataFrames

Vizualizace PySpark DataFrame

Část 1: Vytvoření DataFrame z CSV souboru

Část 2: SQL dotazy nad DataFrame

Část 3: Vizualizace dat

PySpark SQL a DataFrames

PySpark MLlib je škálovatelná knihovna strojového učení pro Apache Spark v Pythonu, která obsahuje běžné algoritmy a nástroje pro učení. V průběhu této poslední kapitoly se naučíš důležité algoritmy strojového učení. Sestavíš engine pro doporučování filmů a filtr spamu a vyzkoušíš shlukování metodou k-means.

Přehled PySpark MLlib

PySpark ML knihovny

Algoritmy PySpark MLlib

Kolaborativní filtrování

Načtení datasetu MovieLens do RDD

Trénování modelu a predikce

Vyhodnocení modelu pomocí MSE

Klasifikace

Načítání spamových a nespamových dat

Feature hashing a LabeledPoint

Trénování modelu logistické regrese

Clustering

Načtení a parsování datasetu s 5 000 body

Trénování K-means

Vizualizace clusterů

Gratulujeme!

Strojové učení s PySpark MLlib

5000 points

Spam

FIFA 2018

Movie ratings

Complete Shakespeare

People

O velkých datech se v posledních letech hodně mluví a pro mnoho firem se stala běžnou součástí práce. Ale co vlastně tato velká data jsou? Tento kurz pokrývá základy Big Data prostřednictvím PySparku. Spark je framework pro clusterové výpočty označovaný jako "bleskově rychlý", navržený právě pro Big Data. Poskytuje obecný engine pro zpracování dat a umožňuje spouštět programy až 100× rychleji v paměti nebo 10× rychleji na disku než Hadoop. Budeš pracovat s PySparkem – pythonovým balíčkem pro programování ve Sparku – a jeho výkonnými knihovnami vyšší úrovně, jako jsou SparkSQL, MLlib (pro strojové učení) a další. Prozkoumáš díla Williama Shakespeara, analyzuješ data z Fifa 2018 a provedeš shlukovou analýzu genomických datových sad. Po absolvování kurzu budeš mít důkladné porozumění PySparku a jeho využití pro analýzu velkých dat.

Introduction to Python

Naučte se analyzovat Big Data pomocí PySpark a knihoven jako SparkSQL a MLlib.

Základní transformace a akce s RDD

Create Your Free Account