Harbr 的物流團隊正在自動化他們的匯入管線。每 15 分鐘,就會有一批新的出貨紀錄寫入到 S3 external stage。團隊需要將這些紀錄載入到暫存資料表、追蹤為新到資料,並用來刷新報表資料表——全部自動完成,且在檔案到達後 10 分鐘內完成。
要用哪一組 Snowflake 元件來建置這條管線?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
精通 Snowflake 的資料匯入管線——從使用 COPY INTO、Snowpipe 與 Snowpipe Streaming 導入檔案到暫存區——並透過連接器、驅動程式與匯出工具,將 Snowflake 串接進更廣泛的資料生態系。
使用 Snowflake 原生的調度功能打造穩健的資料管線——以 streams 進行變更擷取,以 tasks 安排排程,以 dynamic tables 進行宣告式轉換,並以 external 與 Iceberg tables 儲存開放格式資料。
當前練習
使用點記法與 FLATTEN 查詢半結構化 JSON,搭配 GROUPING SETS、ROLLUP 與 CUBE 進行彙總,計算視窗函式,並以 UDF 與 stored procedures 封裝可重複使用的邏輯。
在 Snowsight 進行查詢分析,透過 QUERY_HISTORY 找出瓶頸,應用 Search Optimization、Query Acceleration Service、Automatic Clustering 與 Materialized Views,並撰寫能善用 Snowflake 三層快取的 SQL。