This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

What is Big Data?

The 3 V's of Big Data

PySpark: Spark with Python

Understanding SparkContext

Interactive Use of PySpark

Loading data in PySpark shell

Review of functional programming in Python

Use of lambda() with map()

Use of lambda() with filter()

Introduction to Big Data analysis with Spark

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

Data abstraheren met RDD’s

RDD's uit geparallelliseerde collecties

RDD's uit externe gegevenssets

Partities in je data

Basis-RDD-transformaties en -acties

Map en Collect

Filteren en tellen

Pair RDD's in PySpark

ReduceByKey en Collect

SortByKey en Collect

Geavanceerde RDD-acties

CountingBykeys

Maak een basis-RDD en transformeer deze

Verwijder stopwoorden en reduceer de gegevensset

Print woordfrequenties

Programming in PySpark RDD’s

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Abstracting Data with DataFrames

RDD to DataFrame

Loading CSV into DataFrame

Operating on DataFrames in PySpark

Inspecting data in PySpark DataFrame

PySpark DataFrame subsetting and cleaning

Filtering your DataFrame

Interacting with DataFrames using PySpark SQL

Running SQL Queries Programmatically

SQL queries for filtering Table

Data Visualization in PySpark using DataFrames

PySpark DataFrame visualization

Part 1: Create a DataFrame from CSV file

Part 2: SQL Queries on DataFrame

Part 3: Data visualization

PySpark SQL & DataFrames

PySpark MLlib is the Apache Spark scalable machine learning library in Python consisting of common learning algorithms and utilities. Throughout this last chapter, you'll learn important Machine Learning algorithms. You will build a movie recommendation engine and a spam filter, and use k-means clustering.

Overview of PySpark MLlib

PySpark ML libraries

PySpark MLlib algorithms

Collaborative filtering

Loading Movie Lens dataset into RDDs

Model training and predictions

Model evaluation using MSE

Classification

Loading spam and non-spam data

Feature hashing and LabelPoint

Logistic Regression model training

Clustering

Loading and parsing the 5000 points data

K-means training

Visualizing clusters

Congratulations!

Machine Learning with PySpark MLlib

Complete Shakespeare

Movie ratings

5000 points

FIFA 2018

People

Spam

Er is de afgelopen jaren veel te doen geweest rond Big Data, en inmiddels is het voor veel bedrijven mainstream. Maar wat is Big Data nu precies? Deze cursus behandelt de basisprincipes van Big Data met PySpark. Spark is een framework voor Big Data dat "bliksemsnel clusteren berekeningen" mogelijk maakt. Het biedt een algemene engine voor gegevensverwerking en laat je programma’s tot 100x sneller in het geheugen draaien, of 10x sneller op schijf, dan Hadoop. Je werkt met PySpark, een Python-pakket voor Spark-programmering, en met krachtige, hoog-niveau bibliotheken zoals SparkSQL, MLlib (voor Machine Learning), enzovoort. Je gaat aan de slag met werken van William Shakespeare, analyseert Fifa 2018-gegevens en voert clustering uit op genomische gegevenssets. Aan het einde van deze cursus heb je een diepgaand begrip van PySpark en hoe je het toepast op algemene Big Data-analyse.

Basis-RDD-transformaties en -acties

Create Your Free Account