本章將介紹精彩的 Big Data 世界，以及處理 Big Data 的各種概念與不同框架。你將了解為什麼 Apache Spark 被視為 Big Data 的最佳框架。

什麼是 Big Data？

Big Data 的 3V

PySpark：以 Python 操作 Spark

認識 SparkContext

互動式使用 PySpark

在 PySpark shell 載入資料

複習：Python 的函式程式設計

將 lambda() 與 map() 搭配使用

搭配 filter() 使用 lambda()

使用 Spark 進行 Big Data 分析入門

Spark 提供的主要抽象是 RDD（resilient distributed dataset），這是此引擎的核心與支柱型別。本章將介紹 RDD，並示範如何使用 RDD 的 Transformations 與 Actions 來建立與執行 RDD。

用 RDD 進行資料抽象

以平行化集合建立 RDD

從外部資料集建立 RDD

你的資料有多少分割區

RDD 基本 Transformations 與 Actions

Map 與 Collect

篩選與計數

PySpark 中的配對 RDD（Pair RDDs）

ReduceBykey 與 Collect

SortByKey 與 Collect

進階 RDD 動作

CountingBykeys

建立基礎 RDD 並進行轉換

移除停用字並彙整資料集

印出單字出現頻率

在 PySpark 中使用 RDD 程式設計

本章將帶你認識 Spark SQL——一個用於結構化資料處理的 Spark 模組。它提供稱為 DataFrame 的程式設計抽象，也能作為分散式 SQL 查詢引擎使用。本章將示範如何在 Python 中使用 Spark SQL 操作 DataFrame。

用 DataFrame 抽象化資料

RDD 轉成 DataFrame

將 CSV 載入為 DataFrame

在 PySpark 中操作 DataFrame

在 PySpark DataFrame 中檢視資料

PySpark DataFrame 子集與清理

篩選你的 DataFrame

使用 PySpark SQL 操作 DataFrame

以程式方式執行 SQL 查詢

用 SQL 查詢篩選資料表

使用 DataFrame 在 PySpark 裡進行資料視覺化

PySpark DataFrame 視覺化

第 1 部分：從 CSV 檔建立 DataFrame

第 2 部分：在 DataFrame 上執行 SQL 查詢

第 3 部分：資料視覺化

PySpark SQL 與 DataFrame

PySpark MLlib 是 Apache Spark 在 Python 中可擴展的機器學習函式庫，包含常見的學習演算法與工具。在最後一章中，你將學習重要的機器學習演算法。你會建立電影推薦引擎與垃圾郵件過濾器，並使用 k-means 分群。

PySpark MLlib 概觀

PySpark ML 函式庫

PySpark MLlib 演算法

協同過濾

將 MovieLens 資料集載入 RDD

模型訓練與預測

使用 MSE 進行模型評估

分類

載入垃圾郵件與非垃圾郵件資料

特徵雜湊與 LabelPoint

Logistic Regression 模型訓練

分群（Clustering）

載入並剖析 5000 個點的資料

K-means 訓練

視覺化叢集

恭喜！

使用 PySpark MLlib 進行機器學習

5000 points

Spam

FIFA 2018

Movie ratings

Complete Shakespeare

People

過去幾年大家常聽到 Big Data，一路發展到現在，許多公司都已經把它納入主流做法。但 Big Data 究竟是什麼？本課程將透過 PySpark 帶你掌握 Big Data 的基礎。Spark 是用於 Big Data 的「閃電般快速的叢集運算」框架，提供通用的資料處理引擎，讓程式在記憶體中最多可快 100 倍，或在磁碟上快 10 倍，優於 Hadoop。你將使用 PySpark——一個用於 Spark 程式設計的 Python 套件——以及其功能強大的高階函式庫，如 SparkSQL、MLlib（用於機器學習）等。你會探索 William Shakespeare 的作品、分析 Fifa 2018 資料，並對基因體資料集進行分群。完成本課程後，你將深入理解 PySpark，並能將其應用於各式 Big Data 分析。

Introduction to Python

學習使用Python套件PySpark進行大數據分析，並使用高階庫如SparkSQL和MLlib。

使用 PySpark 的 Big Data 基礎

掌握使用 PySpark 處理大數據的基礎技能。

使用 PySpark 掌握大數據分析

Science Analyst, CyVerse

在 PySpark 中使用 Pair RDD

PySpark 的 pair RDD 入門

建立 pair RDD

pair RDD 的轉換

reduceByKey() 轉換

sortByKey() 轉換

groupByKey() 轉換

join() 轉換

一起來練習吧！

在 PySpark 中使用 RDD 程式設計 - PySpark 中的配對 RDD（Pair RDDs）

PySpark 中的配對 RDD（Pair RDDs）

Create Your Free Account