Spark 是用來處理 Big Data 的框架。本章將介紹 Spark 與機器學習的背景。然後你會學到如何用 Python 連線到 Spark 並載入 CSV 資料。

Machine Learning 與 Spark

Spark 的特性

Spark 叢集的組成元件

連線到 Spark

Spark master 的位置

建立 SparkSession

載入資料

載入航班資料

載入 SMS 垃圾訊息資料

導論

既然你已熟悉如何把資料載入 Spark，接下來將建立兩種分類模型：決策樹與羅吉斯回歸。你也會了解幾種資料前處理的方法。

資料準備

移除欄與列

欄位操作

類別型欄位

組裝欄位

Decision Tree（決策樹）

訓練／測試切分

建立 Decision Tree

評估 Decision Tree

Logistic Regression（邏輯斯迴歸）

建立 Logistic Regression 模型

評估 Logistic Regression 模型

把文字轉成表格

標點符號、數字與權標

Stopwords 與雜湊

訓練垃圾簡訊分類器

分類

接下來你會學習建立線性迴歸模型。你也會學到如何透過工程化新預測變數來擴充資料，以及一種穩健的方法來只選出最相關的預測變數。

One-Hot Encoding

將航班起飛機場做編碼

編碼 T-shirt 尺寸

迴歸

航班時長模型：僅使用距離

解讀係數

航班時間模型：加入起飛機場

分箱與特徵工程

起飛時間分箱（Bucketing）

航班飛行時間模型：加入起飛時間

正規化

航班時間模型：加入更多特徵！

航班時間模型：正規化！

最後你會學到如何讓模型更有效率。你會了解如何使用管線讓程式碼更清楚、也更易於維護。接著你會用交叉驗證來更好地測試模型並挑選適合的模型參數。最後你會試作兩種集成模型。

Pipeline

航班時長模型：Pipeline 階段

航班飛行時間模型：Pipeline 模型

SMS 垃圾訊息 pipeline

交叉驗證

交叉驗證簡易航班時間模型

對航班時間模型的管線進行交叉驗證

Grid Search（網格搜尋）

最佳化航班線性迴歸

剖析最佳的航班時長模型

SMS 垃圾訊息最佳化

Grid search 會產生多少個模型？

集成模型

使用 Gradient-Boosted Trees 預測延誤航班

用 Random Forest 預測延誤航班

評估 Random Forest

結語

集成與管線

Flights

Spark 是一個功能強大、通用的 Big Data 工具。Spark 會自動在叢集中分散計算工作，因此運算速度快，也讓你能專注在分析本身，而不必煩惱技術細節。在本課程中，你會學到如何將資料載入 Spark，接著深入三種核心的 Spark 機器學習演算法：線性迴歸、羅吉斯回歸／分類器，以及建立管線（pipelines）。過程中你會分析大型的航班延誤資料集與垃圾簡訊。具備這些背景後，你就能善用 Spark 的威力，應用在你自己的機器學習專案！

<h2>學習使用 Apache Spark 進行機器學習</h2> 
Spark 是一款功能強大且通用的工具，適用於處理大數據。 Spark 能夠透明地在叢集間分配運算任務。 這表示操作速度很快，同時也讓你能專注於分析本身，而不必擔心技術細節。 在本課程中，您將學習如何將資料導入 Spark，並深入探討三種基本的 Spark 機器學習演算法： 線性回歸、邏輯回歸／分類器，以及建立流程。
<br><br> 
<h2>建立並測試決策樹</h2> 
自行建立決策樹是開始探索機器學習模型的絕佳方式。 您將使用一種名為「遞迴分割」的演算法，將資料分成兩個類別，並在資料中尋找能產生最具資訊性的兩類分割的預測變數，接著在後續節點重複這個動作。 接著，您可以使用您的決策樹對新資料進行預測。
<br><br> 
<h2>精通 PySpark 中的邏輯迴歸與線性迴歸</h2> 
邏輯迴歸與線性迴歸是由 PySpark 支援的關鍵機器學習技術。 您將學習如何建立並評估邏輯回歸模型，接著進一步建立線性回歸模型，協助您優化預測變數，僅保留最相關的選項。
<br><br> 
在本課程結束時，您將能自信地運用新學到的機器學習知識，因為課程中安排了多項實作任務與練習資料集，幫助您鞏固所學。

Supervised Learning with scikit-learn

Introduction to PySpark

學習使用Apache Spark從數據中進行預測，運用決策樹、邏輯回歸、線性回歸、集成和管道。

使用 PySpark 的機器學習

掌握使用 Apache Spark 進行資料預測，涵蓋決策樹、邏輯回歸、線性回歸、集成方法與流程。

使用 PySpark 掌握大數據分析

機器學習科學家 使用 Python

Spark master 的位置

使用 PySpark 的機器學習

動手互動練習