验证数据管道是数据工程师确保管道在投产后按预期运行的最重要措施之一。
请选择在开发过程中和开发完成后对管道进行验证的所有好处。
本练习是课程的一部分
通过我们的互动练习之一,将理论转化为实践
了解数据如何通过数据管道被采集、处理和传输。您将探索优秀数据管道应具备的特性,并为设计与构建自己的管道做好准备。
深入使用 pandas 来提取、转换和加载数据,并构建您的首个数据管道。学习如何让 ETL 逻辑可复用,并在管道中应用日志记录与异常处理。
通过高级数据管道技术提升您的工作流程,例如处理非表格数据、将 DataFrame 持久化到 SQL 数据库。了解可用于在 pandas 中执行高级转换的工具,并掌握处理复杂数据的最佳实践。
在最后一章中,您将创建框架,在将数据管道投入生产前进行校验与测试。完成测试后,您将探索端到端运行数据管道的技术,同时确保对管道性能的可观测性。
当前练习