Spark är ett ramverk för att arbeta med Big Data. I det här kapitlet får du en bakgrund till Spark och maskininlärning. Du lär dig sedan hur du ansluter till Spark med Python och läser in CSV-data.

Maskininlärning & Spark

Sparks egenskaper

Komponenter i ett Spark-kluster

Ansluta till Spark

Platsen för Spark-masternoden

Skapa en SparkSession

Läsa in data

Läsa in flygdata

Läsa in SMS-skräppostdata

Introduktion

Nu när du är bekant med att läsa in data i Spark går vi vidare till att bygga två typer av klassificeringsmodeller: beslutsträd och logistisk regression. Du lär dig också om några metoder för dataförberedelse.

Dataförberedelse

Ta bort kolumner och rader

Kolumnmanipulering

Kategoriska kolumner

Sammanfoga kolumner

Beslutsträd

Tränings- och testuppdelning

Bygg ett beslutsträd

Utvärdera beslutsträdet

Logistisk regression

Bygg en logistisk regressionsmodell

Utvärdera den logistiska regressionsmodellen

Att omvandla text till tabeller

Skiljetecken, siffror och tokens

Stoppord och hashning

Träna en skräppostklassificerare

Klassificering

Härnäst lär du dig att skapa linjära regressionsmodeller. Du får också se hur du utökar din data genom att konstruera nya prediktorer samt hur du väljer ut enbart de mest relevanta prediktorer på ett robust sätt.

One-hot-kodning

Enkoda flygplatsers ursprung

Koda t-shirtstorlekar

Regression

Modell för flygtid: Enbart avstånd

Tolka koefficienterna

Modell för flygtid: Lägger till avgångsflygplats

Tolka koefficienter

Diskretisering och särdragskonstruktion

Gruppera avgångstider

Modell för flygtid: Lägga till avgångstid

Regularisering

Modell för flygtid: Fler särdrag!

Modell för flygtid: Regularisering!

Slutligen lär du dig att göra dina modeller mer effektiva. Du ser hur du använder pipelines för att göra koden tydligare och lättare att underhålla. Sedan använder du korsvalidering för att testa dina modeller bättre och välja lämpliga modellparametrar. Avslutningsvis provar du på två typer av ensemblemodeller.

Pipeline

Modell för flygtid: Pipeline-steg

Modell för flygtid: Pipeline-modell

Pipeline för SMS-skräppost

Korsvalidering

Korsvalidering av en enkel modell för flygduration

Korsvalidering av pipeline för modell för flygduration

Grid Search

Optimera linjär regression för flygdata

Analysera den bästa modellen för flygtid

Optimerad SMS-skräppostklassificerare

Hur många modeller byggs vid grid search?

Ensemble

Försenade flyg med Gradient-Boosted Trees

Försenade flyg med en Random Forest

Utvärdera Random Forest

Avslutande tankar

Ensembler och pipelines

Flights

Spark är ett kraftfullt och mångsidigt verktyg för att arbeta med Big Data. Spark hanterar automatiskt fördelningen av beräkningsuppgifter över ett kluster, vilket gör operationerna snabba och låter dig fokusera på analysen i stället för tekniska detaljer. I den här kursen lär du dig hur du läser in data i Spark och sedan fördjupar dig i tre grundläggande maskininlärningsalgoritmer: linjär regression, logistisk regression/klassificerare och att skapa pipelines. Du analyserar också en stor datamängd med flygtförseningar och skräppostmeddelanden. Med den här grunden är du redo att utnyttja kraften i Spark och tillämpa den på dina egna maskininlärningsprojekt!

<h2>Lär dig använda Apache Spark för maskininlärning</h2> 
Spark är ett kraftfullt och mångsidigt verktyg för att arbeta med Big Data. Spark hanterar smidigt fördelningen av beräkningsuppgifter över ett kluster. Detta innebär att operationerna går snabbt, men det gör också att du kan fokusera på analysen istället för att oroa dig för tekniska detaljer. I den här kursen lär du dig hur du får in data i Spark och sedan fördjupar du dig i de tre grundläggande algoritmerna för Spark Machine Learning: Linjär regression, logistisk regression/klassificerare och att skapa pipelines.
<br><br> 
<h2>Bygg och testa besluts­träd</h2> 
Att bygga egna besluts­träd är ett utmärkt sätt att börja utforska maskininlärnings­modeller. Du kommer att använda en algoritm som kallas "Recursive Partitioning" för att dela upp data i två klasser och hitta en prediktor i din data som ger den mest informativa uppdelningen av de två klasserna, och sedan upprepa detta för ytterligare noder. Du kan sedan använda ditt besluts­träd för att göra förutsägelser med ny data.
<br><br> 
<h2>Bli expert på logistisk och linjär regression i PySpark</h2> 
Logistisk och linjär regression är viktiga tekniker inom maskininlärning som stöds av PySpark. Du kommer att lära dig att bygga och utvärdera logistiska regressionsmodeller, innan du går vidare till att skapa linjära regressionsmodeller för att hjälpa dig att förfina dina prediktorer till endast de mest relevanta alternativen.
<br><br> 
I slutet av kursen kommer du att känna dig säker på att använda dina nya kunskaper inom machine learning, tack vare praktiska uppgifter och övningsdata som finns genom hela kursen.

Supervised Learning with scikit-learn

Introduction to PySpark

Lär dig förutsäga data med Apache Spark: beslutsträd, logistisk regression, linjär regression, ensemble.

Maskininlärning med PySpark

Förbättra dina prediktioner med Apache Spark: beslutsträd, logistisk regression, linjär regression, ensembler och pipelines.

Big Data med PySpark

Maskininlärningsforskare i Python

Platsen för Spark-masternoden

Maskininlärning med PySpark

Interaktiv övning med praktiskt arbete