作為資料工程師,你常常會面臨成本限制,或是組織政策帶來的限制。
關鍵能力之一,是在設計架構時保持彈性,把這些限制考量進來。
在檢視初始架構圖後,IT 部門對於使用 Elasticsearch 來分析推文並傳送警示的安全性影響拿不定主意,因為這是新技術,他們也不熟悉(真實世界常常如此)。
請使用本練習中的元件,達成目標:在 5 分鐘內出現超過 3 則負面推文時發送警示。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在第一章,你會學到批次處理與串流處理的差異,建立你的第一個串流、管理其權限,並對該串流寫入與讀取資料。
在你的串流資料旅程中,下一步是學會使用具轉換功能的 Lambda 函式來邁向無伺服器。透過動手做的練習,你會新增 Lambda Layers,並在特定條件下觸發 Lambda 函式。
你現在已準備好對串流資料進行編碼與解碼,並直接在串流中分析資料。你甚至會使用多個串流來取得每日車輛的最高車速。
在最後一章,你將學會如何利用日誌、度量、警報與儀表板來監控串流的效能。你會使用 Elasticsearch,並建立自己的 Kibana 儀表板。
當前練習