在第一章中，你將走進資料工程的世界！你會了解資料工程師與資料科學家的差異，概覽資料工程師常用的各種工具，並加深對雲端技術在資料工程中所扮演角色的理解。

什麼是資料工程？

資料工程師的工作任務

資料工程師還是資料科學家？

資料工程常見問題

Data Engineer 的工具

資料庫的種類

處理工作

排程工具

雲端服務商

為什麼選擇雲端運算？

雲端運算的大型玩家

雲端服務

Data Engineering 入門

既然你已掌握資料工程師與資料科學家的主要差異，接下來就來探索資料工程師的工具箱吧！你會深入學習資料工程師使用的不同資料庫類型、瞭解平行運算為何是工具組的基石，以及如何使用排程框架來安排資料處理工作。

資料庫

SQL 與 NoSQL

資料庫綱要

依關聯進行連接

星型綱要圖

什麼是平行運算

為什麼要用平行運算？

從任務拆解到子任務

使用 DataFrame

平行運算框架

Spark、Hadoop 與 Hive

PySpark 的 groupby

執行 PySpark 檔案

工作流程排程框架

Airflow、Prefect 與 cron

Airflow DAGs

資料工程工具箱

在熟悉資料工程師的工具箱之後，現在該進入資料工程師日常工作的核心！透過 ETL，你會學到如何從各種來源擷取原始資料、將這些原始資料轉換為可行的洞見，並載入到合適的資料庫中，讓使用者可以直接取用。

Extract（擷取）

資料來源

從 API 擷取資料

從資料庫讀取

Transform（轉換）

切分租借費率

為轉換作準備

與評分資料進行連接

載入

OLAP 或 OLTP

寫入檔案

載入到 Postgres

綜合應用

定義 DAG

設定 Airflow

解讀 DAG

Extract, Transform and Load（ETL）

把前三章所學整合起來，完成一個來自 DataCamp 的真實資料工程情境！你將執行並排程一個 ETL 流程，把原始的課程評分資料轉換為可用的課程推薦，提供給 DataCamp 學生參考。

課程評分

探索綱要結構

查詢資料表

每門課的平均評分

從評分到推薦

過濾損毀資料

使用推薦轉換

排程每日工作

目標資料表

啟用 DAG

查詢推薦結果

恭喜你

個案研究：DataCamp

datacamp_application.sql

你是否常聽人提到資料工程師，卻不太清楚他們在做什麼？或是你已經知道資料工程師的工作內容，但不確定該如何踏上這條路？這門課正是最佳起點。課程涵蓋你需要了解的一切，幫助你精簡資料處理流程。透過本入門課程，你會獲得足夠的背景，開始探索資料工程的世界。非常適合在公司裡面對多個資料來源，卻不確定如何以可擴充的方式加以運用的人。把這些技術帶回公司，成為推動改變的關鍵成員，讓自己脫穎而出。

<h2>資料工程入門</h2> 
你對資料工程師這個職業感到好奇，卻不知道該從何開始嗎？或者您想在採取下一步之前，先進一步了解資料工程師的工作內容嗎？這門四小時的課程將帶您認識資料工程的基礎，並介紹您必須了解的核心概念、技術與工具，協助您勝任相關工作。
<br><br> 
<h2>學習資料工程的概念與技術</h2> 
您將從了解資料工程師與資料科學家之間的差異（以及他們如何協作）開始，接著深入認識這個領域常用的工具，特別是雲端運算與平行運算。 在第二章結束時，您將了解 SQL 和 NoSQL 的應用、如何使用 DataFrames，以及為什麼平行運算如此重要。
<br><br> 
<h2>在實作練習中執行ETL</h2> 
ETL 流程是資料工程師工作流程的核心。 您將學習如何擷取、轉換及載入資料，讓資料為分析與洞察生成做好準備。 在課程結束時，您將運用所學知識，親自使用真實世界的資料執行並排程一個ETL流程。
<br><br> 
我們的練習題與互動測驗能幫助您複習並鞏固新知識，讓您在獲得成就證明後，能自信地討論並應用所學。
<br><br> 
這門入門課程屬於資料工程學習路徑的一部分，將協助您提升對資料工程的理解，並為您規劃成為專業資料工程師的明確進階步驟。

Intermediate Python

Intermediate SQL

今天就邁出成為資料工程師的第一步。參加這個四小時課程，了解資料工程的世界。

課程評分

Create Your Free Account