This chapter introduces the exciting world of Big Data, as well as the various concepts and different frameworks for processing Big Data. You will understand why Apache Spark is considered the best framework for BigData.

Big Data nedir?

Büyük Veri'nin 3 V'si

PySpark: Python ile Spark

SparkContext'i Anlamak

PySpark'ı Etkileşimli Kullanma

PySpark kabuğunda veri yükleme

Python'da fonksiyonel programlamaya genel bakış

map() ile lambda() kullanımı

filter() ile lambda() kullanımı

Introduction to Big Data analysis with Spark

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is the fundamental and backbone data type of this engine. This chapter introduces RDDs and shows how RDDs can be created and executed using RDD Transformations and Actions.

Abstracting Data with RDDs

RDDs from Parallelized collections

RDDs from External Datasets

Partitions in your data

Basic RDD Transformations and Actions

Map and Collect

Filter and Count

Pair RDDs in PySpark

ReduceBykey and Collect

SortByKey and Collect

Advanced RDD Actions

CountingBykeys

Create a base RDD and transform it

Remove stop words and reduce the dataset

Print word frequencies

Programming in PySpark RDD’s

In this chapter, you'll learn about Spark SQL which is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as a distributed SQL query engine. This chapter shows how Spark SQL allows you to use DataFrames in Python.

Abstracting Data with DataFrames

RDD to DataFrame

Loading CSV into DataFrame

Operating on DataFrames in PySpark

Inspecting data in PySpark DataFrame

PySpark DataFrame subsetting and cleaning

Filtering your DataFrame

Interacting with DataFrames using PySpark SQL

Running SQL Queries Programmatically

SQL queries for filtering Table

Data Visualization in PySpark using DataFrames

PySpark DataFrame visualization

Part 1: Create a DataFrame from CSV file

Part 2: SQL Queries on DataFrame

Part 3: Data visualization

PySpark SQL & DataFrames

PySpark MLlib is the Apache Spark scalable machine learning library in Python consisting of common learning algorithms and utilities. Throughout this last chapter, you'll learn important Machine Learning algorithms. You will build a movie recommendation engine and a spam filter, and use k-means clustering.

Overview of PySpark MLlib

PySpark ML libraries

PySpark MLlib algorithms

Collaborative filtering

Loading Movie Lens dataset into RDDs

Model training and predictions

Model evaluation using MSE

Classification

Loading spam and non-spam data

Feature hashing and LabelPoint

Logistic Regression model training

Clustering

Loading and parsing the 5000 points data

K-means training

Visualizing clusters

Congratulations!

Machine Learning with PySpark MLlib

Complete Shakespeare

Movie ratings

5000 points

FIFA 2018

People

Spam

Son birkaç yıldır Big Data hakkında çok konuşuluyor ve artık birçok şirket için ana akım hâline geldi. Peki bu Big Data tam olarak nedir? Bu kurs, PySpark üzerinden Big Data’nın temellerini kapsar. Spark, Big Data için "şimşek hızında küme hesaplama" çerçevesidir. Genel bir veri işleme platformu sunar ve programlarını bellekte 100 kata, diskte ise 10 kata kadar Hadoop’dan daha hızlı çalıştırmana olanak tanır. Spark programlama için bir Python paketi olan PySpark’ı ve SparkSQL, MLlib (machine learning için) gibi güçlü, üst düzey kütüphanelerini kullanacaksın. William Shakespeare’in eserlerini keşfedecek, Fifa 2018 verilerini analiz edecek ve genomik veri kümeleri üzerinde kümeleme gerçekleştireceksin. Bu kursun sonunda, PySpark’ı ve genel Big Data analizindeki kullanımını derinlemesine kavramış olacaksın.

Introduction to Python

PySpark, SparkSQL ve MLlib kullanarak Python ile Büyük Veri analizi yapmayı öğrenin.

PySpark ile Big Data Temelleri

PySpark ile büyük verilerle çalışmanın temellerini öğrenin.

PySpark ile Büyük Veri

Büyük Veri'nin 3 V'si

PySpark ile Big Data Temelleri

Uygulamalı etkileşimli egzersiz