学习本章后，您将能够解释什么是现代数据架构，以及其关键需求与组成部分。您还将回顾多种现有的数据架构类型，从 Lambda 架构到 Data Mesh。

现代数据架构

什么是现代数据架构？

现代架构 vs 传统架构

现代数据架构示例

Lambda 架构

Lambda 架构的各层

Kappa 架构

Kappa：那批处理层怎么办？

Data Mesh 与 Data Fabric

Data Mesh

Data Fabric

数据架构及其用例

现代数据架构概述

了解现代数据架构的不同组件与层次——从数据摄取到数据服务。熟悉各层的不同范式与方法，以及用于实现现代数据解决方案的一些云服务，获得贴近实务的经验。

数据存储：存储类型

什么是 Blob 存储？

何时应该使用 Blob 存储？

SQL 与 NoSQL

存储使用场景

数据摄取

什么是摄取（ingestion）？

什么是着陆区（landing zone）？

摄取新数据

数据处理

批处理 vs. 流式处理

在流处理中，什么是窗口（window）？

处理范式

数据服务

服务层技术

排列各层顺序

现代数据架构的组成部分

深入了解现代数据架构中的横向组件，涵盖数据治理、元数据、数据安全与可观测性等关键方面。通过掌握这些要素，您将能够在保持高数据与服务标准的同时，设计出稳健、安全且高效的数据平台。

数据治理

什么是数据治理？

选项

Governors

Users

Ancillary

数据治理中的角色分工

元数据管理

元数据的作用

技术

业务

运营

元数据类型

业务术语表由……组成

数据安全

什么是数据泄露？

Virtual Private Clouds (VPC)

有效的数据安全

云服务

数据保护

网络安全

分类数据安全措施

可观测性

排查问题来源

更易实施

更难实施

数据安全措施

数据架构的横向组件

学习如何管理工作流、理解云服务成本，并创建现代数据设计。本章将帮助您使用 Apache Airflow 等工具，并介绍节省云成本的方法。完成后，您将了解如何为企业构建并评估高质量的数据系统。

Orchestration（编排）

Orchestration 与 Scheduling

编排中的传感器

存储与处理成本最佳实践

云服务中的预留容量

存储类别

设计现代数据架构

提出恰当的问题

摄取应用程序数据

评估现代数据架构方案

为什么需要隔离区？

设计一套现代数据平台

总结

融会贯通

在本课程中，您将深入理解构成现代数据解决方案的关键组件，并探索多种现有架构及其各自的优缺点。从数据摄取与服务到治理与编排，您将逐层了解它们如何助力构建稳健且可扩展的数据解决方案。课程结束时，您将具备设计与实现现代数据架构的知识与技能，不仅能产出有价值的洞见，还能兼顾成本与安全因素。

<h2>现代数据架构导论</h2>
<br>
由于数据，世界在不断变化，而且每天需要处理的数据量都在不断增加。 因此，本课程将为你概述现代数据架构，并引导你了解数据解决方案的基本组成部分。

<h2>现代数据架构的组成部分</h2>
<br>
这是一门现代数据解决方案的入门课程。 在本课程的前半部分，您将了解什么是现代数据架构，回顾一些流行的解决方案，如 Data Mesh 和 Data Fabric，并探索数据架构的不同组成部分，例如存储、数据摄取方法、处理选项和服务技术。

<h2>现代数据架构的横向组件</h2>
<br>
在后半部分，课程展示了确保数据架构一致性并支持其管理的横向组件；并解释了数据治理、编排、可观测性，甚至云服务提供商中的成本优化等概念。 有了这些要素，您将能够设计出与组织需求高度契合的数据解决方案。

<h2>设计和评估现代数据架构</h2>
<br>
课程的最后部分将整合你所学到的知识，通过一个商业案例来设计一个满足业务需求的数据解决方案。

Data Warehousing Concepts

Understanding Data Engineering

了解现代数据架构的关键组成部分，从摄取、服务到治理和编排。

深入理解现代数据架构

了解现代数据架构的关键组件，从摄取和服务到治理与编排。

专业数据工程师 在 Python 中

排查问题来源

深入理解现代数据架构

动手互动练习