学习本章后，您将能够解释什么是现代数据架构，以及其关键需求与组成部分。您还将回顾多种现有的数据架构类型，从 Lambda 架构到 Data Mesh。

现代数据架构

什么是现代数据架构？

现代架构 vs 传统架构

现代数据架构示例

Lambda 架构

Lambda 架构的各层

Kappa 架构

Kappa：那批处理层怎么办？

Data Mesh 与 Data Fabric

Data Mesh

Data Fabric

数据架构及其用例

现代数据架构概述

了解现代数据架构的不同组件与层次——从数据摄取到数据服务。熟悉各层的不同范式与方法，以及用于实现现代数据解决方案的一些云服务，获得贴近实务的经验。

数据存储：存储类型

什么是 Blob 存储？

何时应该使用 Blob 存储？

SQL 与 NoSQL

存储使用场景

数据摄取

什么是摄取（ingestion）？

什么是着陆区（landing zone）？

摄取新数据

数据处理

批处理 vs. 流式处理

在流处理中，什么是窗口（window）？

处理范式

数据服务

服务层技术

排列各层顺序

现代数据架构的组成部分

深入了解现代数据架构中的横向组件，涵盖数据治理、元数据、数据安全与可观测性等关键方面。通过掌握这些要素，您将能够在保持高数据与服务标准的同时，设计出稳健、安全且高效的数据平台。

数据治理

什么是数据治理？

数据治理中的角色分工

元数据管理

元数据的作用

元数据类型

业务术语表由……组成

数据安全

什么是数据泄露？

Virtual Private Clouds (VPC)

有效的数据安全

分类数据安全措施

可观测性

排查问题来源

数据安全措施

数据架构的横向组件

学习如何管理工作流、理解云服务成本，并创建现代数据设计。本章将帮助您使用 Apache Airflow 等工具，并介绍节省云成本的方法。完成后，您将了解如何为企业构建并评估高质量的数据系统。

Orchestration（编排）

选项

Orchestration

Scheduling

Orchestration 与 Scheduling

编排中的传感器

存储与处理成本最佳实践

云服务中的预留容量

Standard

Glacier/Coldline

存储类别

设计现代数据架构

提出恰当的问题

摄取应用程序数据

评估现代数据架构方案

为什么需要隔离区？

适用于此用例

不适用于此用例

设计一套现代数据平台

总结

融会贯通

在本课程中，您将深入理解构成现代数据解决方案的关键组件，并探索多种现有架构及其各自的优缺点。从数据摄取与服务到治理与编排，您将逐层了解它们如何助力构建稳健且可扩展的数据解决方案。课程结束时，您将具备设计与实现现代数据架构的知识与技能，不仅能产出有价值的洞见，还能兼顾成本与安全因素。

<h2>现代数据架构导论</h2>
<br>
由于数据，世界在不断变化，而且每天需要处理的数据量都在不断增加。 因此，本课程将为你概述现代数据架构，并引导你了解数据解决方案的基本组成部分。

<h2>现代数据架构的组成部分</h2>
<br>
这是一门现代数据解决方案的入门课程。 在本课程的前半部分，您将了解什么是现代数据架构，回顾一些流行的解决方案，如 Data Mesh 和 Data Fabric，并探索数据架构的不同组成部分，例如存储、数据摄取方法、处理选项和服务技术。

<h2>现代数据架构的横向组件</h2>
<br>
在后半部分，课程展示了确保数据架构一致性并支持其管理的横向组件；并解释了数据治理、编排、可观测性，甚至云服务提供商中的成本优化等概念。 有了这些要素，您将能够设计出与组织需求高度契合的数据解决方案。

<h2>设计和评估现代数据架构</h2>
<br>
课程的最后部分将整合你所学到的知识，通过一个商业案例来设计一个满足业务需求的数据解决方案。

Data Warehousing Concepts

Understanding Data Engineering

了解现代数据架构的关键组成部分，从摄取、服务到治理和编排。

深入理解现代数据架构

了解现代数据架构的关键组件，从摄取和服务到治理与编排。

专业数据工程师 在 Python 中

使用可扩展的数据存储方案，例如基于云的对象存储，用于存放新接入的数据。

使用基于云的身份与访问管理（IAM）方案来管理用户对数据平台的访问。

将数据摄取到数据湖的落地区（landing zone），以便在数据输入上保持灵活性。

使用分布式数据处理框架，对来自各类来源的数据流进行实时处理。

在服务层所有数据存储需求上只使用一种数据库，以降低复杂性。

直接在生产环境的在线数据上运行分析，以避免数据复制。

设计一套现代数据平台

深入理解现代数据架构

动手互动练习