Obecný úvod do PySparku a distribuovaného zpracování dat. Tato část představuje PySpark, PySpark DataFrames a RDD.

Úvod do PySparku

Vytvoření SparkSession

Načítání dat ze sčítání lidu

Úvod do PySpark DataFrames

Škálovatelnost a výkon

Načtení CSV souboru a provádění agregací

Filtrování podle společnosti

Více o Spark DataFrames

Inference a filtrování

Zápis schématu

Úvod do Apache Sparku a PySparku

Navázání na téma DataFrames a složitých datových typů. Tato část rozšiřuje možnosti DataFrames v PySparku a uvádí základní koncepty Spark SQL.

Manipulace s daty pomocí DataFrames

Práce s chybějícími daty: fill a drop

Operace se sloupci – vytváření a přejmenování

Pokročilé operace s DataFrames

Kombinování DataFramů

Spojení letů s jejich cílovými letišti

Definuješ to? Používáš to!

UDF definováno

Celá čísla v UDF funkcích PySparku

Pandas UDF

PySpark v Pythonu

Ponoř se do využití Spark SQL a PySparku pro škálovatelné zpracování dat – kombinuj jednoduchost SQL s výkonem distribuovaného zpracování v PySparku pro efektivní práci s velkými datovými sadami.

Odolné distribuované datové sady v PySparku

Vytváření RDD

Práce s RDD pomocí collect()

Úvod do Spark SQL

Dotazování nad dočasným pohledem

Spouštění SQL dotazů nad DataFrames

Analytika pomocí SQL nad DataFrame

Agregace v PySparku

Agregace v RDD

Složitější agregace

PySpark ve velkém měřítku

Broadcasting

Vše dohromady I

Vše dohromady II

Co jsme se naučili?

Úvod do PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Tento kurz je určený datovým inženýrům, datovým vědcům a odborníkům na Machine Learning, kteří chtějí pracovat s velkými datovými sadami pomocí PySparku. Prozkoumáš rychlost a škálovatelnost Apache Sparku, naučíš se vytvářet Spark session, pracovat s RDD a manipulovat s DataFrames skrze praktická cvičení. Kurz také pokrývá PySpark SQL – ukážeme ti, jak dotazovat data pomocí SQL, pracovat se schématy a složitými datovými typy a optimalizovat výkon v distribuovaných prostředích. Po absolvování kurzu budeš mít základní dovednosti pro zpracování a analýzu velkých dat, což tě připraví na pokročilé aplikace jako Machine Learning a analytiku big dat.

Videa obsahují živé přepisy, které zobrazíš kliknutím na „Show transcript" v levém dolním rohu videa.
Slovníček kurzu najdeš vpravo v sekci zdrojů.
Pro získání CPE kreditů musíš kurz dokončit a dosáhnout skóre alespoň 70 % v kvalifikovaném hodnocení. K hodnocení se dostaneš kliknutím na upozornění CPE kreditů vpravo.

Tento kurz je ideální pro datové inženýry, datové vědce a odborníky na strojové učení, kteří chtějí efektivně pracovat s velkými datovými sadami. Ať už přecházíš z nástrojů jako Pandas, nebo se do technologií pro práci s velkými daty pouštíš poprvé, tento kurz nabízí pevný úvod do PySpark a distribuovaného zpracování dat.<br><br>
<h2>Proč Spark? Proč právě teď?</h2>
Objevte rychlost a škálovatelnost Apache Spark, výkonného frameworku navrženého pro práci s velkými daty. Prostřednictvím interaktivních lekcí a praktických cvičení uvidíte, jak zpracování v paměti dává Sparku výhodu oproti tradičním frameworkům, jako je Hadoop. Začnete nastavením relací Spark a ponoříte se do klíčových komponent, jako jsou Resilient Distributed Datasets (RDD) a DataFrames. Naučte se snadno filtrovat, seskupovat a spojovat datové sady při práci na reálných příkladech.<br><br>
<h2>Vylepšete své dovednosti v Pythonu a SQL pro Big Data</h2>
Naučte se využívat PySpark SQL pro dotazování a správu dat pomocí známé syntaxe SQL. Pusťte se do schémat, složitých datových typů a uživatelsky definovaných funkcí (UDF), a zároveň si budujte dovednosti v ukládání do mezipaměti a optimalizaci výkonu pro distribuované systémy.<br><br>
<h2>Vybudujte si základy velkých dat</h2>
Na konci tohoto kurzu budete mít jistotu při práci s velkými daty, jejich dotazování a zpracování pomocí PySpark. S těmito základními dovednostmi budete připraveni prozkoumat pokročilá témata, jako je strojové učení a analýza velkých dat.

Introduction to SQL

Data Manipulation with pandas

Ovládněte PySpark pro snadnou práci s velkými daty—naučte se zpracovávat a optimalizovat rozsáhlé sady dat!

Introduction to PySpark

Ovládni PySpark a snadno zvládej big data—nauč se zpracovávat, dotazovat a optimalizovat obrovské datasety pro silnou analytiku!

Junior datový inženýr v Databricks

Velká data s PySpark

Vědec v oblasti strojového učení v Pythonu

Profesionální datový inženýr v Pythonu

Proměnná	Popis
age	Věk jedince
education_num	Úroveň vzdělání podle stupně
marital_status	Rodinný stav
occupation	Povolání
income	Kategorický příjem

Načítání dat ze sčítání lidu

Introduction to PySpark

Pokyny k cvičení

Interaktivní cvičení na vyzkoušení si v praxi