În acest capitol, vei învăța să lucrezi cu notebook-uri Databricks, să încarci date CSV în Spark DataFrames și să modelezi date folosind PySpark și SQL.

Lucrul cu notebook-urile Databricks

Înțelegerea notebook-urilor Databricks

Încărcarea primului set de date

Explorarea jurnalelor driver-ului

Modelarea datelor cu PySpark și SQL

Folosirea PySpark pentru a modela date

Analiza datelor cu SQL

Înțelegerea vizualizărilor temporare

Încărcarea și modelarea datelor

Vei învăța să definești scheme explicite, să construiești un pipeline de curățare a datelor și să optimizezi performanța interogărilor cu broadcast joins.

Curățarea datelor și verificări de calitate

De ce contează schemele explicite

Curățarea setului de date pentru retail online

Alegerea metricii potrivite de calitate

Agregarea și unirea eficientă a datelor

Îmbinarea și agregarea datelor de retail

Înțelegerea blocajului cauzat de shuffle

Când să folosești un broadcast join

Curățarea și optimizarea datelor

Vei învăța să calculezi totaluri cumulative și clasamente cu funcții de fereastră, să construiești pipeline-uri de streaming și să implementezi fluxuri de lucru în producție.

Funcții de fereastră și interogări de streaming

Clasificarea clienților cu funcții de fereastră

Streaming date de retail în Delta Lake

Reluarea după o repornire

Fluxuri de producție cu workflows

Scrierea și citirea unui tabel Delta

Construirea unui pipeline de job cu mai multe sarcini

De ce să treci la Lakeflow?

Concluzie

Analiză și pipeline-uri de producție

transactions

country_lookup

online_retail

Ești pregătit să lucrezi cu date reale la scară largă? Acest curs te învață să transformi seturi mari de date folosind Spark SQL și PySpark în Databricks. Vei învăța să modelezi și să cureți date, să rulezi agregări cu join-uri optimizate și să aplici funcții de fereastră pentru analize avansate. Vei configura și streaming bazat pe fișiere cu checkpoint-uri tolerante la erori și vei persista rezultatele ca tabele Delta. La final, vei orchestra pipeline-uri de producție cu mai mulți pași folosind Databricks Workflows și Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Construiește fluxuri de date complete - de la curățare și agregare la streaming și orchestrare.

Transformarea datelor cu Spark SQL în Databricks

Construiește pipeline-uri de date end-to-end - de la curățare și agregare la streaming și orchestrare.


Inginer de date asociat în Databricks

Lead Data Engineer

Trei probleme în datele reale

De ce să definești schema explicit?

Importuri

Definirea schemei

Identificarea valorilor nule

Eliminarea și completarea valorilor nule

Gestionarea duplicatelor

Filtrarea înregistrărilor invalide

Crearea coloanelor derivate

Verificarea calității datelor

Hai să exersăm!

Curățarea și optimizarea datelor - Curățarea datelor și verificări de calitate

Curățarea datelor și verificări de calitate

Create Your Free Account