I det här kapitlet lär du dig hur Spark hanterar data och hur du läser och skriver tabeller från Python.

Vad är Spark, egentligen?

Använda Spark i Python

Utforska SparkContext

Använda DataFrames

Skapa en SparkSession

Visa tabeller

Är du nyfiken på frågor?

Omvandla en Spark DataFrame till pandas

Lägg till Spark i dina data

Utan mellanhänder

Kom igång med PySpark

I det här kapitlet lär du dig om modulen pyspark.sql, som tillhandahåller optimerade datafrågor till din Spark-session.

Skapa kolumner

SQL i korthet

SQL i korthet (2)

Filtrera data

Urval med select

Urval II

Aggregering

Aggregering II

Gruppering och aggregering I

Gruppering och aggregering II

Joins

Joining II

Databearbetning

PySpark har inbyggda, moderna maskininlärningsrutiner samt verktyg för att skapa kompletta maskininlärningspipelines. Du lär dig om dem i det här kapitlet.

Maskininlärningspipelines

Sammanfoga DataFrames

Datatyper

Sträng till heltal

Skapa en ny kolumn

Skapa ett booleskt värde

Strängar och faktorer

Flygbolag

Destination

Sätt ihop en vektor

Skapa pipelinen

Test vs. träning

Transformera datan

Dela upp data

Kom igång med maskininlärningspipelines

I det här sista kapitlet tillämpar du det du har lärt dig för att skapa en modell som förutsäger vilka flyg som kommer att försenas.

Vad är logistisk regression?

Skapa modelleraren

Korsvalidering

Skapa utvärderaren

Skapa ett rutnät

Skapa valideraren

Träna modell(erna)

Utvärdera binära klassificerare

Utvärdera modellen

Modelloptimering och modellval

Airports

Planes

Flights

I den här kursen lär du dig att använda Spark från Python! Spark är ett verktyg för parallell beräkning med stora datamängder och fungerar utmärkt tillsammans med Python. PySpark är det Python-paket som får det hela att fungera. Du kommer att använda paketet för att arbeta med data om flyg från Portland och Seattle. Du lär dig att bearbeta dessa data och bygga en komplett maskininlärningspipeline för att förutsäga om flyg kommer att försenas eller inte. Gör dig redo att ta din Python-kod till nästa nivå och ge dig in i världen av högpresterande maskininlärning!

Introduction to Python

Lär dig hantera data och bygga en maskininlärningspipeline med PySpark. Öva med verkliga data.

Grunderna i PySpark

Lär dig att implementera distribuerad datahantering och maskininlärning i Spark med PySpark-paketet.

Transformera datan

Grunderna i PySpark

Övningsinstruktioner

Interaktiv övning med praktiskt arbete