Det här kapitlet introducerar Big Data och ger en översikt över de koncept och ramverk som används för att bearbeta Big Data. Du får förstå varför Apache Spark anses vara det bästa ramverket för Big Data.

Vad är Big Data?

Big Datas tre V:n

PySpark: Spark med Python

Förstå SparkContext

Interaktiv användning av PySpark

Läsa in data i PySpark-skalet

Repetition av funktionell programmering i Python

Använda lambda() med map()

Användning av lambda() med filter()

Introduktion till Big Data-analys med Spark

Den centrala abstraktionen i Spark är en resilient distributed dataset (RDD), som är den grundläggande datatypen i motorn. Det här kapitlet introducerar RDD:er och visar hur de skapas och körs med hjälp av RDD-transformationer och -åtgärder.

Abstrahera data med RDD:er

RDD:er från parallelliserade samlingar

RDD:er från externa datakällor

Partitioner i dina data

Grundläggande RDD-transformationer och åtgärder

Map och Collect

Filtrera och räkna

Par-RDD:er i PySpark

ReduceByKey och Collect

SortByKey och Collect

Avancerade RDD-åtgärder

Räkna nycklar

Skapa ett bas-RDD och transformera det

Ta bort stoppord och reducera datamängden

Skriv ut ordfrekvenser

Programmering i PySpark RDD:er

I det här kapitlet lär du dig om Spark SQL – en Spark-modul för strukturerad databearbetning. Den erbjuder en programmeringsabstraktion som kallas DataFrames och kan även fungera som en distribuerad SQL-frågemotor. Kapitlet visar hur Spark SQL låter dig använda DataFrames i Python.

Abstrahera data med DataFrames

Från RDD till DataFrame

Läsa in CSV till DataFrame

Operationer på DataFrames i PySpark

Inspektera data i en PySpark DataFrame

Delmängder och datarensning i PySpark DataFrame

Filtrera din DataFrame

Interagera med DataFrames i PySpark SQL

Köra SQL-frågor programmatiskt

SQL-frågor för att filtrera tabeller

Datavisualisering i PySpark med DataFrames

Visualisering av PySpark DataFrame

Del 1: Skapa en DataFrame från en CSV-fil

Del 2: SQL-frågor på en DataFrame

Del 3: Datavisualisering

PySpark SQL och DataFrames

PySpark MLlib är Apache Sparks skalbara maskininlärningsbibliotek i Python och innehåller vanliga inlärningsalgoritmer och hjälpverktyg. Under det här sista kapitlet lär du dig viktiga maskininlärningsalgoritmer. Du bygger en filmrekommendationsmotor och ett skräppostfilter, och arbetar med k-means-klustring.

Översikt över PySpark MLlib

PySpark ML-bibliotek

PySpark MLlib-algoritmer

Kollaborativ filtrering

Läs in MovieLens-datamängden till RDD:er

Modellträning och prediktioner

Modellutvärdering med MSE

Klassificering

Läsa in spam- och icke-spamdata

Feature hashing och LabeledPoint

Träning av logistisk regressionsmodell

Klustring

Läsa in och tolka datasetet med 5 000 punkter

K-means-träning

Visualisera kluster

Grattis!

Maskininlärning med PySpark MLlib

5000 points

Spam

FIFA 2018

Movie ratings

Complete Shakespeare

People

Big Data har diskuterats flitigt de senaste åren och har nu blivit en självklar del av många företags vardag. Men vad är egentligen Big Data? Den här kursen går igenom grunderna i Big Data via PySpark. Spark är ett ramverk för klusterdatorer som är optimerat för Big Data och erbjuder en generell plattform för databearbetning. Med Spark kan du köra program upp till 100 gånger snabbare i minnet, eller 10 gånger snabbare på disk, jämfört med Hadoop. Du använder PySpark – ett Python-paket för Spark-programmering – tillsammans med kraftfulla bibliotek på hög nivå som SparkSQL och MLlib (för maskininlärning). Du utforskar William Shakespeares verk, analyserar FIFA 2018-data och utför klustring på genomiska datamängder. När du är klar med kursen har du fått en djupgående förståelse för PySpark och hur det används för allmän Big Data-analys.

Abstrahera data med DataFrames

Create Your Free Account