I det här kapitlet lär du dig att arbeta med Databricks-notebooks, läsa in CSV-data i Spark DataFrames och forma data med PySpark och SQL.

Arbeta med Databricks-anteckningsböcker

Förstå Databricks notebooks

Läs in ditt första dataset

Utforska drivrutinsloggar

Forma data med PySpark och SQL

Forma data med PySpark

Analysera data med SQL

Förstå temporära vyer

Läsa in och forma data

Lär dig att definiera explicita scheman, bygga en pipeline för datarensning och optimera frågeprestanda med broadcast joins.

Datarensning och kvalitetskontroller

Varför explicita scheman spelar roll

Rensa onlinebutikens datamängd

Välj rätt kvalitetsmått

Aggregera och sammanfoga data effektivt

Joina och aggregera butiksdata

Förstå flaskhalsen med shuffle

När ska du använda ett broadcast join

Datarensning och optimering

Lär dig att beräkna löpande summor och rankningar med fönsterfunktioner, bygga strömningspipelines och driftsätta produktionsarbetsflöden.

Fönsterfunktioner och strömningsfrågor

Rangordna kunder med fönsterfunktioner

Strömma butiksdata till Delta Lake

Återuppta efter en omstart

Produktionspipelines med workflows

Skriva och läsa en Delta-tabell

Bygg en pipeline med flera uppgifter

Varför byta till Lakeflow?

Avslutning

Analys och produktionspipelines

transactions

country_lookup

online_retail

Redo att hantera verkliga data i stor skala? Den här kursen lär dig att transformera stora datamängder med Spark SQL och PySpark i Databricks. Du lär dig att forma och rensa data, köra aggregeringar med optimerade joins och använda fönsterfunktioner för avancerad analys. Du ställer även in filbaserad strömning med feltoleranta kontrollpunkter och sparar resultaten som Delta-tabeller. I slutet av kursen orkestrerar du flerstegspipelines för produktion med Databricks Workflows och Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Bygg kompletta datapipelines - från rengöring och aggregering till strömning och orkestrering.

Datatransformation med Spark SQL i Databricks

Bygg end-to-end-datapipelines – från rensning och aggregering till streaming och orkestrering.


Associate Data Engineer i Databricks

Lead Data Engineer

Aggregera och joina data effektivt

Tre frågor, ett rent dataset

Så fungerar groupBy() och agg()

Kategoriintäkter – kod

Kategoriintäkter – utdata

Berika med en dimensionstabell

Vanlig vänsterjoin

Den dolda kostnaden – shuffle

Spark UI

Läsa frågeplan med .explain()

Broadcast-join – lösningen

Före och efter – verifiera planen

Nu kör vi en övning!

Datarensning och optimering - Aggregera och sammanfoga data effektivt

Aggregera och sammanfoga data effektivt

Create Your Free Account