複習 DataFrame 的基礎概念，並說明資料清理的重要性。

使用 Apache Spark 進行資料清理入門

資料清理複習

定義 schema

不可變性與延遲處理

不可變性複習

使用惰性處理

理解 Parquet

以 Parquet 格式儲存 DataFrame

SQL 與 Parquet

DataFrame 細節

探討在 Spark 中修改 DataFrame 內容的各種技巧。

DataFrame 欄位操作

使用 Python 篩選欄位內容

篩選題目 #1

篩選題目 #2

修改 DataFrame 欄位

有條件的 DataFrame 欄位操作

when() 範例

When / Otherwise

使用者自訂函式

理解使用者自訂函式（UDF）

在 Spark 中使用使用者自訂函式

分割與延遲處理

加入 ID 欄位

不同分割區下的 ID

在真實環境中操作 DataFrame

透過提升效能或降低資源需求，改進資料清理工作。

快取

快取 DataFrame

從快取中移除 DataFrame

提升匯入效能

檔案大小最佳化

檔案匯入效能

叢集組態

讀取 Spark 組態

撰寫 Spark 設定

效能改進

一般連接（Normal joins）

在 Spark 連接中使用廣播

比較 broadcast 與一般 join

提升效能

學習如何使用 Spark 處理複雜的真實世界資料，以及管線的基本概念。

資料管線導論

快速 pipeline

Pipeline 資料問題

資料處理技巧

移除含註解的列

移除無效列

分割成多個欄位

進一步解析

資料驗證

透過 join 驗證列

檢視無效列

最後的分析與交付

狗狗解析

每張影像的計數

狗像素百分比

恭喜你！下一步

複雜處理與資料管線

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

處理資料本來就不容易——當資料有上百萬甚至上億列時更是如此。
你是否拿到在筆電上、用相對乾淨的資料寫好的資料處理程式碼？
很可能你被指派把一個基本的資料流程，從原型推進到正式上線。
你也可能處理過真實世界的資料集：欄位遺漏、格式怪異，且資料量大好幾個數量級。就算這一切對你來說還不熟悉，本課程會帶你用 Python 與 Apache Spark 打好準備資料流程所需的基礎。
你將學到術語、方法，以及一些最佳實務，打造高效能、可維護、且容易理解的資料處理平台。

Intermediate Python

Introduction to PySpark

學習使用PySpark在Python中用DataFrames和數據管道清理數據，了解清理數據對分析的重要性。

使用 PySpark 清理資料

學習如何使用 Python 搭配 Apache Spark 清理資料。

使用 PySpark 掌握大數據分析

理解使用者自訂函式（UDF）

使用 PySpark 清理資料

動手互動練習