En allmän introduktion till PySpark och distribuerad beräkning. Det här avsnittet presenterar PySpark, PySpark DataFrames och RDD:er.

Introduktion till PySpark

Skapa en SparkSession

Läsa in folkräkningsdata

Introduktion till PySpark DataFrames

Skalbarhet och prestanda

Läsa in en CSV-fil och utföra aggregeringar

Filtrering efter företagets land

Mer om Spark DataFrames

Inferera och filtrera

Definiera ett schema

Introduktion till Apache Spark och PySpark

En fortsättning på DataFrames och komplexa datatyper. Det här avsnittet bygger vidare på vad DataFrames erbjuder i PySpark och introducerar några Spark SQL-koncept.

Datamanipulering med DataFrames

Hantera saknade värden med fill och drop

Kolumnoperationer – skapa och byta namn på kolumner

Avancerade DataFrame-operationer

Kombinera DataFrames

Joina flyg med deras destinationsflygplatser

Du definierar det? Du använder det!

UDF definierad

Heltal i PySpark UDF:er

Pandas UDF:er

PySpark i Python

Fördjupa dig i hur du använder Spark SQL och PySpark för skalbar databearbetning – och kombinerar SQL:s enkelhet med PySparks distribuerade beräkningskraft för att hantera stora datamängder på ett effektivt sätt.

Resilient distribuerade dataset i PySpark

Skapa RDD:er

Samla in RDD:er

Introduktion till Spark SQL

Fråga mot en temporär vy

Köra SQL på DataFrames

Analys med SQL på DataFrames

PySpark-aggregeringar

Aggregering i PySpark

Aggregering i RDD:er

Komplexa aggregationer

PySpark i stor skala

Broadcasting

Allt på en gång I

Sammanfattning II

Vad har vi lärt oss?

Introduktion till PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Den här kursen riktar sig till datatekniker, datavetare och maskininlärningspraktiker som vill arbeta med stora datamängder i PySpark. Du utforskar Apache Sparks hastighet och skalbarhet, lär dig skapa Spark-sessioner, arbeta med RDD:er och manipulera DataFrames genom praktiska övningar. Kursen täcker även PySpark SQL och lär dig att fråga data med SQL, hantera scheman och komplexa datatyper samt optimera prestanda i distribuerade miljöer. När du är klar har du de grundläggande färdigheterna för att bearbeta och analysera stora datamängder – en solid grund för avancerade tillämpningar inom maskininlärning och storskalig dataanalys.

Videorna innehåller live-transkript som du kan visa genom att klicka på "Show transcript" längst ned till vänster i videospelaren.
Kursens ordlista finns till höger i resurssektionen.
För att erhålla CPE-poäng behöver du slutföra kursen och nå ett resultat på 70 % på den kvalificerade bedömningen. Du når bedömningen genom att klicka på CPE-poäng-länken till höger.

Den här kursen är perfekt för dataingenjörer, datavetare och praktiker inom maskininlärning som vill arbeta effektivt med stora datamängder. Oavsett om du går över från verktyg som Pandas eller tar dig an big data-tekniker för första gången, ger den här kursen en gedigen introduktion till PySpark och distribuerad databehandling.<br><br>
<h2>Varför Spark? Varför nu?</h2>
Upptäck hastigheten och skalbarheten hos Apache Spark, det kraftfulla ramverket som är utformat för att hantera big data. Genom interaktiva lektioner och praktiska övningar får du se hur Sparks minnesbaserade bearbetning ger det en fördel jämfört med traditionella ramverk som Hadoop. Du börjar med att konfigurera Spark-sessioner och fördjupa dig i centrala komponenter som Resilient Distributed Datasets (RDD:er) och DataFrames. Lär dig att filtrera, gruppera och sammanfoga datamängder med lätthet medan du arbetar med verkliga exempel.<br><br>
<h2>Förbättra dina Python- och SQL-kunskaper för Big Data</h2>
Lär dig hur du använder PySpark SQL för att fråga och hantera data med hjälp av välbekant SQL-syntax. Ta dig an scheman, komplexa datatyper och användardefinierade funktioner (UDF:er), samtidigt som du bygger upp färdigheter i cachning och optimering av prestanda för distribuerade system.<br><br>
<h2>Bygg din grund inom Big Data</h2>
I slutet av den här kursen kommer du att känna dig trygg med att hantera, fråga och bearbeta big data med PySpark. Med dessa grundläggande färdigheter är du redo att utforska avancerade ämnen som maskininlärning och analys av stora datamängder.

Introduction to SQL

Data Manipulation with pandas

Lär dig PySpark för att enkelt hantera stora data—bearbeta, fråga och optimera massiva datamängder!

Bemästra PySpark för att hantera big data enkelt—lär dig bearbeta, fråga och optimera enorma datamängder för kraftfull analys!

Associate Data Engineer i Databricks

Big Data med PySpark

Maskininlärningsforskare i Python

Professionell dataingenjör i Python

Pandas UDF:er

Introduktion till PySpark

Övningsinstruktioner

Interaktiv övning med praktiskt arbete