學習如何用 dbt 的進階測試技巧來確保資料品質。探索內建、singular，以及可重複使用的測試，來驗證 models、sources 與 seeds。了解如何使用 Jinja 定義自訂測試、排除失敗狀況，並最佳化你的驗證流程，在影響後游分析之前攔截不一致。

dbt 測試入門介紹

選項

內建

非內建

內建測試

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


在模型上定義測試

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

找出有問題的資料

建立單一測試

單一測試的開發流程

開發單一測試的步驟

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

驗證行程時長

有效的測試查詢

無效的測試查詢

驗證測試查詢

建立自訂可重複使用的測試

Options

Reusable

Singular

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

實作可重複使用的測試

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

將單一測試更新為可重複使用的測試

測試與文件化

透過建置可擴充、可上線的工作流程，讓你的 dbt 技能更進一步。學習如何使用 dbt sources 與 seeds 改善資料血緣，使用 snapshots 追蹤歷史變更，並以 dbt build 自動化轉換。完成後，你將具備管理大規模資料管線的信心。

dbt sources

Models、sources，或兩者皆是？

新增一個 source

dbt seeds（種子資料）

真理的核心

ZIP 是關鍵

使用 dbt snapshots 的 SCD2（舊版）

Snapshot 流程

Snapshot 問題

新增一個 snapshot

使用 dbt build 自動化

dbt build 不能做什麼？

幫助實習生！

整合實作

在製作環境中實作 dbt

透過這門實作課程，將你的 dbt 技能更上一層樓，專為資料工程師與分析專業人士設計。你將探索進階的 dbt 功能，包括自訂測試策略、可重複使用的測試、sources、seeds，以及用 snapshots 追蹤歷史資料變更。學習如何使用 dbt build 自動化 dbt 管線，確保在製作環境中的轉換可靠又高效。透過互動式練習與真實情境，你將建立信心，能在大規模資料工作流程中實作 dbt。

<h2>精通 dbt 工作流程</h2>
<p>將您的 dbt 技能提升至更高層次，學習如何在生產環境中實現穩健且可擴展的資料轉換工作流程。 本課程專為希望超越基礎、並實際操作進階 dbt 功能的資料工程師、分析師及分析工程師設計。</p>

<h2>以進階測試確保資料品質</h2>
<p>建立可靠的資料管道始於驗證。 您將學習進階測試技術，以發現資料不一致的情況，建立可重複使用的自訂測試，讓模型驗證標準化，並將測試應用於來源和種子資料，以提升治理能力與資料血緣追蹤。</p>

<h2>善用 dbt Sources、Seeds 與 Snapshots</h2>
<p>了解如何利用 dbt sources 提升文件記錄與數據血緣，同時確保原始數據的可追溯性。 學習如何使用 dbt seeds 高效管理小型、靜態資料集。 接著，透過 dbt snapshots 精通緩慢變化維度（SCD2），讓您能夠輕鬆追蹤資料倉儲中的歷史變化。</p>

<h2>使用 dbt Build 自動化並優化</h2>
<p>在生產環境中，效率至關重要。 您將學習如何使用 dbt build 精簡工作流程，自動化模型執行、測試與快照，確保轉換過程的可靠性。 透過優化您的 pipeline，您將提升 dbt 專案的效能、可維護性與擴展性。</p>

<h2>在真實情境中應用您的技能</h2>
<p>透過互動式練習與實作，你將鞏固所學知識，並建立信心，能夠在實際情境中運用 dbt。 在本課程結束時，您將具備設計、測試及自動化可投入生產環境的 dbt 工作流程的能力，確保大規模轉換具備高品質且有完善文件紀錄。</p>


Introduction to dbt

透過此實作課程提升您的dbt技能，專為資料工程師和分析專業人士設計。

dbt 中級

提升你的dbt技能，專為資料工程師與分析專業人士打造的實作課程。

dbt 基礎

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

驗證測試查詢

dbt 中級

動手互動練習