我們學過,stage 是暫存位置,也是把資料載入 Snowflake 的關鍵方式。
Harbr 的資料工程團隊正在檢視不同的暫存情境如何對應到 Snowflake 的 stage 類型。共有 3 種 stage 類型:使用者階段(@~),只屬於單一 Snowflake 使用者;資料表階段(%table_name),綁定到特定目標資料表;以及 named stages,需明確建立,並可在不同角色與工作階段間共用。
@~
%table_name
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
精通 Snowflake 的資料匯入管線——從使用 COPY INTO、Snowpipe 與 Snowpipe Streaming 導入檔案到暫存區——並透過連接器、驅動程式與匯出工具,將 Snowflake 串接進更廣泛的資料生態系。
當前練習
使用 Snowflake 原生的調度功能打造穩健的資料管線——以 streams 進行變更擷取,以 tasks 安排排程,以 dynamic tables 進行宣告式轉換,並以 external 與 Iceberg tables 儲存開放格式資料。
使用點記法與 FLATTEN 查詢半結構化 JSON,搭配 GROUPING SETS、ROLLUP 與 CUBE 進行彙總,計算視窗函式,並以 UDF 與 stored procedures 封裝可重複使用的邏輯。
在 Snowsight 進行查詢分析,透過 QUERY_HISTORY 找出瓶頸,應用 Search Optimization、Query Acceleration Service、Automatic Clustering 與 Materialized Views,並撰寫能善用 Snowflake 三層快取的 SQL。