新的資料工程實習生 Sasha 現在試圖說服你:雲端運算與多雲架構完全沒有任何缺點。你不同意,因為你很確定事實並非如此。這也讓你懷疑她是否真的對這個主題感到熟悉。
你再度拿出主管的角色,希望幫助她加深理解。你請她先說說自己對雲端運算的假設與看法:你會告訴她哪些對、哪些不對,並盡量解釋原因。準備好接受挑戰了嗎?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你會學到什麼是資料工程,以及為何對資料工程師的需求正在上升。接著你將了解資料工程在資料科學生命週期中的位置、資料工程師與資料科學家的差異,並認識你的第一個完整資料管線。
現在來談談資料儲存——這是資料工程師的一項主要職責。在本章中,你會學到資料工程師如何管理不同的資料結構、使用 SQL(查詢與儲存資料的首選程式語言),以及如何用資料湖與資料倉儲實作合適的資料儲存解決方案。
資料工程師會在不同步驟使用各種處理技術,將原始資料整理好,讓資料科學家更容易分析。這些步驟需要組合成管線,這時就會用到自動化。最後,資料工程師會運用平行運算與雲端運算,讓管線持續順暢運作。
當前練習