完成本章後，你將能說明什麼是現代資料架構，以及其關鍵需求與元件。你也會回顧不同型態的既有資料架構，從 Lambda 到 Data Mesh。

現代資料架構

什麼是現代資料架構？

現代與傳統架構比較

現代資料架構的範例

Lambda 架構

Lambda 架構的各層

Kappa 架構

Kappa：批次層怎麼辦？

Data Mesh 與 Data Fabric

Data Mesh

Data Fabric

資料架構與其應用情境

現代資料架構導論

認識現代資料架構中的不同元件與層級，從資料擷取到服務層。熟悉各層的典範與作法，以及在雲端中實作現代資料解決方案時常用的服務，累積實務經驗！

資料儲存：儲存類型

什麼是 Blob storage？

什麼時候該使用 blob 儲存？

SQL 與 NoSQL

選項

Blob storage

NoSQL DB

Data warehouse 

儲存情境與做法

資料匯入

資料擷取是……

資料擷取不是……

什麼是資料擷取？

什麼是 landing zone？

匯入新資料

資料處理

批次

串流

批次 vs. 串流

在串流處理中，什麼是視窗（window）？

處理典範

資料服務

Data Warehouse（資料倉儲）

Blob Storage（大型物件儲存）

RDBMS（關聯式資料庫）

Serving 技術

資料平台各層

排序各層

現代資料架構的元件

深入探討現代資料架構中的橫向元件，涵蓋資料治理、中介資料（metadata）、資料安全與可觀測性等關鍵面向。瞭解這些重要元素後，你將能在維持資料與整體服務高標準的同時，設計出穩健、安全且高效率的資料平台。

資料治理

什麼是資料治理？

資料治理中的角色

中繼資料管理

中繼資料的角色

中繼資料類型

商業詞彙表由下列哪些內容組成…

資料安全

什麼是資料外洩？

Virtual Private Clouds（VPC）

有效的資料安全

分類資料安全措施

可觀測性

釐清問題來源

資料安全措施

資料架構的橫向元件

學習如何管理工作流程、理解雲端服務成本，並建立現代資料設計。本章將帶你操作像 Apache Airflow 這類工具，並教你在雲端使用上節省費用的方法。完成後，你將知道如何為企業打造並評估高品質的資料系統。

Orchestration

Orchestration 與 Scheduling

編排中的感測器

Storage 與處理成本的最佳實務

雲端服務中的預留容量

Storage classes

設計現代資料架構

問對問題

擷取應用程式資料

評估現代資料架構解決方案

為什麼需要隔離區？

設計現代資料平台

結語

整合與實作

在本課程中，你將深入了解構成現代資料解決方案的關鍵元件，並探索各種既有架構及其優點與限制。從資料擷取到服務層，再到治理與排程協調，你會逐層認識並了解它們如何共同打造穩健且可擴充的資料解決方案。課程結束時，你將具備設計與實作現代資料架構的知識與技能，不僅能產生有價值的洞見，還能同時考量成本與安全。

<h2>現代資料架構導論</h2>
<br>
隨著資料的持續發展，世界正不斷改變，而每天需要處理的資料量也在持續增加。 因此，本課程將為您概述現代資料架構，並引導您了解資料解決方案的基本組成要素。

<h2>現代資料架構的組成要素</h2>
<br>
這是一門現代資料解決方案的入門課程。 在本課程的前半部分，您將學習現代資料架構的概念，並了解一些熱門解決方案，例如 Data Mesh 和 Data Fabric。此外，您還會深入探討資料架構中的各個要素，包括儲存方式、資料擷取方法、處理選項以及資料服務技術。

<h2>現代資料架構的橫向元件</h2>
<br>
在下半部分，課程將介紹確保數據架構協同運作並實現有效管理的橫向組件，說明如數據治理、協作編排、可觀測性，甚至雲端服務供應商中的成本優化等重要概念。 結合這些要素，您將能夠設計出高度符合組織需求的資料解決方案。

<h2>設計與評估現代資料架構</h2>
<br>
課程的最後部分將整合您所學的知識，透過一個商業案例設計出能滿足企業需求的資料解決方案。

Data Warehousing Concepts

Understanding Data Engineering

探索現代數據架構的關鍵組成部分，從數據攝取、服務到治理和協調。

理解現代資料架構

掌握現代資料架構核心：從資料擷取、服務，到治理與協調，一次了解。

專業資料工程師 使用 Python

批次 vs. 串流

理解現代資料架構

動手互動練習