Opakování základů DataFramů a důvod, proč je čištění dat tak důležité.

Úvod do čištění dat s Apache Spark

Opakování čištění dat

Definování schématu

Neměnnost a líné zpracování

Opakování: neměnnost dat

Líné zpracování v praxi

Porozumění formátu Parquet

Uložení DataFrame ve formátu Parquet

SQL a Parquet

Základy DataFramů

Přehled různých technik pro úpravu obsahu DataFramů ve Sparku.

Operace se sloupci DataFramu

Filtrování obsahu sloupců v Pythonu

Filtrování – otázka č. 1

Filtrování – otázka č. 2

Úprava sloupců DataFramu

Podmíněné operace se sloupci DataFramu

Příklad with when()

When / Otherwise

Uživatelsky definované funkce

Použití uživatelsky definovaných funkcí v Sparku

Rozdělování dat a líné zpracování

Přidání pole s ID

ID s různým počtem oddílů

Další triky s ID

Manipulace s DataFramy v reálném světě

Zefektivni čištění dat zvýšením výkonu nebo snížením nároků na zdroje.

Caching

Cachování DataFrame

Odebrání DataFrame z mezipaměti

Zlepšení výkonu importu

Optimalizace velikosti souborů

Výkon při importu souborů

Konfigurace clusteru

Čtení konfigurací Sparku

Nastavení konfigurace Sparku

Zlepšení výkonu

Běžné joiny

Použití broadcastingu při joinech ve Sparku

Porovnání broadcast joinu a běžného joinu

Zvyšování výkonu

Nauč se zpracovávat komplexní reálná data pomocí Sparku a základy datových pipeline.

Úvod do datových pipeline

Rychlý pipeline

Problém s daty v pipeline

Techniky zpracování dat

Odstranění řádků s komentáři

Odstranění neplatných řádků

Rozdělení do sloupců

Další parsování

Validace dat

Ověření řádků pomocí joinu

Zkoumání neplatných řádků

Závěrečná analýza a výstupy

Parsování dat o psech

Počet psů na obrázek

Procento pixelů se psy

Gratulujeme a co dál

Komplexní zpracování dat a datové pipeline

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Práce s daty je náročná – a práce s miliony nebo miliardami řádků je ještě náročnější.
Dostal/a ses k nějakému kódu pro zpracování dat, který byl napsán na laptopu s celkem čistými daty?
Pravděpodobně ti byl svěřen úkol přenést základní datový proces z prototypu do produkce.
Možná jsi pracoval/a s reálnými datasety – s chybějícími poli, podivným formátováním a obrovským množstvím dat. I když je to pro tebe nové, tento kurz tě naučí vše potřebné k přípravě datových procesů pomocí Pythonu a Apache Spark.
Poznáš klíčové pojmy, metody a osvědčené postupy pro vytváření výkonné, přehledné a snadno udržovatelné platformy pro zpracování dat.

Intermediate Python

Introduction to PySpark

Naučte se používat PySpark k čištění dat v Pythonu pomocí DataFrames a datových pipeline.

Cleaning Data with PySpark

Naučte se čistit data pomocí Apache Spark v Pythonu.

Velká data s PySpark

Uživatelsky definované funkce

Cleaning Data with PySpark

Interaktivní praktické cvičení