你剛加入名為 Spotflix 的音樂串流公司，擔任資料科學團隊的經理。這是個音樂平台，讓使用者能串流歌曲、建立播放清單、追蹤藝人、觀看音樂影片，甚至查詢歌詞！
有位同事剛走到你桌前。他們才剛被錄用，但已經知道你在資料團隊裡——在 DataCamp 的訓練之後，你很快就闖出了名聲！他們手上有一堆需要完成的資料任務，並想確認應該找對的人處理。你告訴他們，你可以幫忙分辨哪些應該向資料工程師提出，哪些不需要。
你能做到嗎？
本練習屬於課程
將理論付諸實踐，立即體驗我們的互動練習
在本章中，你會學到什麼是資料工程，以及為何對資料工程師的需求正在上升。接著你將了解資料工程在資料科學生命週期中的位置、資料工程師與資料科學家的差異，並認識你的第一個完整資料管線。
當前練習
現在來談談資料儲存——這是資料工程師的一項主要職責。在本章中，你會學到資料工程師如何管理不同的資料結構、使用 SQL（查詢與儲存資料的首選程式語言），以及如何用資料湖與資料倉儲實作合適的資料儲存解決方案。
資料工程師會在不同步驟使用各種處理技術，將原始資料整理好，讓資料科學家更容易分析。這些步驟需要組合成管線，這時就會用到自動化。最後，資料工程師會運用平行運算與雲端運算，讓管線持續順暢運作。
