準備好來了解資料如何透過資料管線被蒐集、處理與搬移。你將探索優質資料管線的特性，並開始規劃與設計你自己的管線。

ETL 與 ELT 管線入門

執行 ETL pipeline

ELT 實作

ETL 與 ELT 資料管線

建置 ETL 與 ELT Pipeline

建置 ETL Pipeline

ELT 裡的「T」

擷取、轉換與載入學生成績資料

資料管線導論

深入學習運用 pandas 來擷取、轉換並載入資料，同時建立你的第一個資料管線。你會學到如何讓 ETL 邏輯可重複使用，並在管線中加入記錄與例外處理。

從結構化來源擷取資料

從 parquet 檔案擷取資料

從 SQL 資料庫擷取資料

建立用來擷取資料的函式

使用 pandas 進行資料轉換

篩選 pandas DataFrame

使用 pandas 轉換銷售資料

驗證資料轉換

使用 pandas 儲存資料

將銷售資料載入至 CSV 檔案

自訂 CSV 檔案

將資料持久化到檔案

監控資料管線

在資料管線中記錄日誌

載入資料時處理例外

在資料管線中進行監控與警示

建立 ETL 管線

以進階的資料管線技巧強化你的工作流程，例如處理非表格資料與將 DataFrame 寫入 SQL 資料庫。探索能支援使用 pandas 進行進階轉換的工具，並掌握處理複雜資料的最佳實務。

擷取非表格資料

用 pandas 載入 JSON 資料

將 JSON 資料讀入記憶體

轉換非表格資料

遍歷字典

從字典解析資料

轉換 JSON 資料

轉換與清理 DataFrame

使用 pandas 進行進階資料轉換

使用 pandas 填補遺漏值

使用 pandas 分組資料

將進階轉換套用到 DataFrame

使用 pandas 將資料載入 SQL 資料庫

將資料載入 Postgres 資料庫

驗證載入到 Postgres 資料庫的資料

進階 ETL 技巧

在最後一章中，你將建立架構來在發佈到正式環境前驗證並測試資料管線。完成測試後，你會探索如何端到端執行資料管線，同時保有對管線效能的可觀測性。

手動測試資料管線

測試資料管線

在「檢查點」驗證資料管線

端到端測試資料管線

為資料管線撰寫單元測試

使用 assert 驗證資料管線

使用 pytest 撰寫單元測試

使用 pytest 建立 fixtures

使用 fixtures 進行資料管線的單元測試

在生產環境中執行資料 pipeline

編排與 ETL 工具

資料管線架構樣式

端到端執行資料管線

恭喜！

部署與維護資料管線

amazon_sales_cleaned_sql.csv

schools_modified.csv

Course Glossary

tax_rate_cleaned.csv

scores.csv

資料管線是每個強大資料平台的基礎。建立這些管線是資料工程師的核心技能，能為準備邁向資料驅動未來的企業帶來巨大價值。本入門課程將幫助你精進技能，打造有效、效能佳且可靠的資料管線。

影片提供即時逐字稿，你可以點選影片左下角的「Show transcript」來顯示。
課程名詞表可在右側的資源區看到。
若要取得 CPE 學分，你需要完成課程，並在合格測驗中達到 70% 的成績。你可以點選右側的 CPE 學分提示前往測驗。

<p><h2>以資料管線強化分析能力</h2>
資料管道是每個強大資料平台的基礎。 建立這些資料管道是資料工程師必備的重要技能，能為準備邁向數據驅動未來的企業帶來極大價值。 這門入門課程將協助你培養建立高效、穩定且可靠資料管線的技能。</p>

<p><h2>建立與維護 ETL 解決方案</h2>
在本課程中，您將深入學習建立資料管線的完整流程。 您將學會運用 Python 函式庫，例如 <code>pandas</code> 和 <code>json</code>，從結構化與非結構化來源中擷取資料，並在資料轉換與儲存以供後續使用前，完成資料的提取。 在學習過程中，您將掌握如架構圖、單元測試及監控等實用工具與技術，讓您的資料管道在眾多競爭者中脫穎而出。 隨著學習進展，您將透過實作練習來驗證您新學到的技能。</p>

<p><h2>強化您的資料工作流程</h2>
完成本課程後，您將能夠設計、開發並運用資料管線，全面提升您在工作、新職涯或個人專案中的資料工作流程。</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

學習使用提取、轉換和加載原則構建高效、性能佳且可靠的數據管道。

使用 Python 的 ETL 與 ELT

掌握使用Extract、Transform、Load原則打造高效、穩定且可靠的資料管道。

資料工程師 使用 Python

機器學習工程師

ETL 與 ELT 資料管線

使用 Python 的 ETL 與 ELT

動手互動練習