在本章中，您将走进数据工程的世界！了解数据工程师与数据科学家的区别，概览数据工程师常用的各种工具，并加深对云技术在数据工程中作用的认识。

什么是数据工程？

数据工程师的任务

数据工程师还是数据科学家？

数据工程问题

数据工程师的工具

数据库的种类

处理任务

调度工具

云服务商

为什么选择云计算？

云计算领域的巨头

云服务

Data Engineering 简介

既然您已经了解了数据工程师与数据科学家的主要差异，现在就来探索数据工程师的工具箱吧！深入学习数据工程师使用的不同类型数据库，理解并行计算为何是数据工程工具包的基石，以及如何使用调度框架来安排数据处理作业。

数据库

关联

NoSQL

SQL 与 NoSQL

数据库架构

基于关系进行连接

星型模式示意图

什么是并行计算

为什么使用并行计算？

从任务到子任务

使用 DataFrame

并行计算框架

卡片

Hadoop

PySpark

Hive

Spark、Hadoop 和 Hive

PySpark 的 groupby

运行 PySpark 文件

工作流调度框架

Airflow、Luigi 和 cron

Airflow DAG

Data engineering 工具箱

熟悉了数据工程师的工具箱后，现在是深入数据工程师日常工作核心的时候了！通过 ETL，您将学习如何从各类来源提取原始数据，将其转换为可付诸行动的洞见，并将结果加载到相关数据库，供后续使用。

Extract（提取）

数据源

从 API 获取数据

从数据库读取数据

转换

拆分租赁费率

为转换做准备

与评分表进行连接

加载

OLAP 还是 OLTP

写入文件

加载到 Postgres

融会贯通

定义一个 DAG

设置 Airflow

解读 DAG

提取、转换与加载（ETL）

将前面三章所学融会贯通，完成一个来自 DataCamp 的真实数据工程用例！您将执行并调度一个 ETL 流程，把原始课程评分数据转化为可用于 DataCamp 学生的课程推荐。

课程评分

探索架构

查询数据表

按课程计算平均评分

从评分到推荐

筛除损坏数据

使用推荐转换

计划每日作业

目标表

定义 DAG

启用 DAG

查询推荐结果

恭喜您

案例研究：DataCamp

datacamp_application.sql

您是否听过别人谈起数据工程师，却不清楚他们具体做什么？或者您了解数据工程师的工作，但不确定如何成为其中一员？这门课程正适合您。它涵盖简化数据处理所需的关键知识点。这门入门课程将为您提供足够的背景，帮助您开始探索数据工程的世界。它非常适合在公司里面对多个数据源、但尚不清楚如何以可扩展方式利用这些数据源的人。率先把这些技术带回您的公司，成为团队中的明星员工。

<h2>开始学习数据工程</h2> 
你对数据工程职业感兴趣，但不知道从哪里开始吗？或者你想在迈出下一步之前，先了解更多数据工程师的工作内容？这门四小时的课程是数据工程入门，介绍了你需要掌握的核心概念、技术和工具，帮助你胜任这项工作。
<br><br> 
<h2>学习数据工程概念与技术</h2> 
你将首先了解数据工程师和数据科学家之间的区别（以及他们如何协作），然后进一步了解这一行业所使用的工具，具体会谈到云计算和并行计算。 到第二章结束时，你将了解 SQL 和 NoSQL 的应用、DataFrame 的使用，以及并行计算为何如此重要。
<br><br> 
<h2>在实操练习中执行 ETL</h2> 
ETL 流程是数据工程师工作流程的核心。 您将学习如何提取、转换和加载数据，使其为分析和生成洞察做好准备。 在课程结束时，你将通过使用真实世界数据亲自执行并安排一个 ETL 流程，把所有这些知识付诸实践。
<br><br> 
我们的练习和互动测试可帮助你复习并巩固新学到的知识，让你在获得完成证明后，能够自信地讨论并应用这些内容。
<br><br> 
这门入门课程是数据工程课程的一部分，为你提供提升数据工程理解的路径，以及成为专业数据工程师的明确下一步。

Intermediate Python

Intermediate SQL

今天就迈出成为数据工程师的第一步。在这个四小时课程中了解数据工程的世界。

Data Engineering 入门

在这门简短课程中了解数据工程世界，涵盖 ETL 和云计算等工具与主题。 

星型模式示意图

Data Engineering 入门

动手互动练习