你是一名任職於資料處理公司的工程師,會接收外部供應商提供的檔案。這些檔案包含關鍵資料,在被系統接受前必須先驗證完整性。你面臨的挑戰是檔案到達的時間樣態難以預測:可能在早上或夜間一次大量湧入,或是在白天零星抵達。此外,檔案大小相對小,而且每天不會超過幾千個。
在這種情況下,你會選擇哪一種處理策略來把成本降到最低?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
完成本章後,你將能說明什麼是現代資料架構,以及其關鍵需求與元件。你也會回顧不同型態的既有資料架構,從 Lambda 到 Data Mesh。
認識現代資料架構中的不同元件與層級,從資料擷取到服務層。熟悉各層的典範與作法,以及在雲端中實作現代資料解決方案時常用的服務,累積實務經驗!
當前練習
深入探討現代資料架構中的橫向元件,涵蓋資料治理、中介資料(metadata)、資料安全與可觀測性等關鍵面向。瞭解這些重要元素後,你將能在維持資料與整體服務高標準的同時,設計出穩健、安全且高效率的資料平台。
學習如何管理工作流程、理解雲端服務成本,並建立現代資料設計。本章將帶你操作像 Apache Airflow 這類工具,並教你在雲端使用上節省費用的方法。完成後,你將知道如何為企業打造並評估高品質的資料系統。