PySpark 與分散式運算的概論。本節將介紹 PySpark、PySpark DataFrame 與 RDD。

PySpark 入門

建立 SparkSession

載入人口普查資料

PySpark DataFrame 入門

擴充性與效能

讀取 CSV 並進行彙總運算

依公司所在地篩選

推斷並篩選

寫出 Schema

Apache Spark 與 PySpark 入門

延續 DataFrame 與複雜資料型別的主題。本節將擴充你對 PySpark 中 DataFrame 的應用，並引介部分 Spark SQL 概念。

使用 DataFrame 進行資料操作

使用 fill 與 drop 處理遺漏資料

欄位操作：建立與重新命名欄位

進階 DataFrame 操作

DataFrame 合併方式

將班機與其目的地機場進行連接

自己定義，自己使用！

定義 UDF

PySpark UDF 中的整數

Pandas UDFs

在 Python 中使用 PySpark

深入運用 Spark SQL 與 PySpark 進行可擴充的資料處理，結合 SQL 的簡潔與 PySpark 的分散式運算能力，高效率處理大型資料集。

PySpark 中的彈性分散式資料集

建立 RDD

收集 RDD

Spark SQL 入門

查詢暫存檢視

在 DataFrame 上執行 SQL

在 DataFrame 上用 SQL 做分析

PySpark 聚合

在 PySpark 進行彙總運算

在 RDD 中做彙總

複合彙總

大規模 PySpark

Broadcasting

整合總複習 I

綜合練習 II

我們學到了什麼？

PySpark SQL 入門

Course Glossary

Adults

Transportation

Salaries

本課程為想使用 PySpark 處理大型資料集的資料工程師、資料科學家與機器學習實務人員而設計。你將探索 Apache Spark 的速度與延展性，學會建立 Spark session、操作 RDD，並透過動手練習處理 DataFrame。課程也涵蓋 PySpark SQL，帶你用 SQL 查詢資料、處理 schema 與複雜資料型別，並在分散式環境中最佳化效能。完成後，你將具備處理與分析大數據的基礎能力，為機器學習與大數據分析等進階應用打下良好根基。

影片包含即時逐字稿，你可以點選影片左下角的「Show transcript」來顯示。
課程詞彙表位於右側的資源區塊。
若要取得 CPE 學分，你需要完成課程並在合格評量中達到 70% 的成績。你可以點擊右側的 CPE 學分提示前往評量。

本課程非常適合希望高效處理大型資料集的資料工程師、資料科學家及機器學習從業人員。 無論您是從 Pandas 等工具轉換過來，還是首次接觸大數據技術，本課程都將為您提供 PySpark 與分散式資料處理的堅實入門基礎。<br><br>
<h2>為什麼選擇 Spark？為什麼選擇現在？</h2>
體驗 Apache Spark 的高速與可擴展性，這個強大的框架專為處理大數據而設計。 透過互動式課程和實作練習，您將了解 Spark 的記憶體內處理如何讓它相較於傳統框架（如 Hadoop）更具優勢。 您將從建立 Spark 工作階段開始，並深入學習核心組件，例如 Resilient Distributed Datasets (RDDs) 和 DataFrames。 學習如何輕鬆篩選、分組及合併資料集，並透過實際案例加強操作能力。<br><br>
<h2>提升您的 Python 與 SQL 技能，掌握大數據分析</h2>
學習如何運用 PySpark SQL，透過熟悉的 SQL 語法查詢與管理資料。 學習如何處理 schema、複雜資料型別，以及使用使用者自訂函數（UDF），同時培養在分散式系統中快取與效能最佳化的技能。<br><br>
<h2>建立您的大數據基礎</h2>
在本課程結束時，您將具備使用 PySpark 處理、查詢及分析大數據的信心。 有了這些基礎技能，您將能夠進一步學習進階主題，例如機器學習與大數據分析。

Introduction to SQL

Data Manipulation with pandas

掌握PySpark輕鬆處理大數據，學習處理、查詢和優化海量數據集以進行強大分析！

精通 PySpark，輕鬆處理大數據，學習處理、查詢並優化龐大資料集，實現強大分析！

助理資料工程師 在 Databricks

使用 PySpark 掌握大數據分析

機器學習科學家 使用 Python

專業資料工程師 使用 Python

Broadcasting

PySpark 入門

動手互動練習