or
本练习是课程的一部分
在本章中,您将学习什么是数据工程,以及为何对数据工程师的需求不断增长。接着,您将了解数据工程在数据科学生命周期中的位置、数据工程师与数据科学家的区别,并首次接触一个完整的数据管道。
现在来谈谈数据存储——这是一名数据工程师的核心职责之一。本章将带您了解数据工程师如何管理不同的数据结构、使用 SQL(用于查询与存储数据的首选编程语言)开展工作,并通过数据湖与数据仓库实现合适的数据存储方案。
当前练习
数据工程师通过在不同步骤应用不同的处理技术,对原始数据进行整理,从而让数据科学家的分析更顺畅。这些步骤需要组合为管道,此时自动化就会发挥作用。最后,数据工程师利用并行计算与云计算,确保数据管道稳定高效地运行。