dbt の高度なテスト手法でデータ品質を確保する方法を学びます。モデル、sources、seeds を検証するための組み込みテスト、singular テスト、再利用可能なテストを理解しましょう。Jinja でカスタムテストを定義し、失敗時のトラブルシューティングを行い、下流の分析に影響が出る前に不整合を検知できるよう、検証ワークフローを最適化します。

dbtにおけるテスト入門

Options

Built-in

Not built-in

組み込みテスト

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


モデルへのテスト定義

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

不正なデータを見つける

シンギュラーテストの作成

Singular テストの開発プロセス

単体（singular）テストを開発する手順

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

乗車時間の検証

オプション

有効なテスト用クエリ

無効なテスト用クエリ

テスト用クエリの検証

カスタムの再利用可能なテストを作成する

Reusable

Singular

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

再利用可能なテストを実装する

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

単体テストから再利用可能テストへの更新

テストとドキュメント化

拡張性があり本番運用に耐えるワークフローを実装して、dbt スキルをさらに伸ばしましょう。データリネージを向上させるための dbt sources と seeds の使い方、履歴変更を追跡する snapshots の実装、そして dbt build による変換の自動化を学びます。コースの終わりには、大規模なデータパイプラインを自信を持って運用できるようになります。

dbt sources

Models, sources, or both?

ソースの追加

dbt seeds（シード）

真実のかけら

ZIP is the code

dbt snapshots で実装する SCD2（旧）

スナップショットのプロセス

スナップショットの問題

スナップショットを追加する

dbt build で自動化する

dbt build にできないことはどれですか？

インターンを助けよう！

すべてをまとめて実行する

本番環境での dbt 実装

この実践的なコースで、dbt スキルを次のレベルへ引き上げましょう。データエンジニアやアナリティクスのプロ向けに、カスタムテスト戦略、再利用可能なテスト、sources、seeds、そして履歴データの変化を追跡する snapshots など、dbt の高度な機能を学びます。さらに、dbt build を使って dbt パイプラインを自動化し、本番環境で信頼性が高く効率的な変換を実現する方法を身につけます。対話型の演習と実践的なシナリオを通じて、大規模なデータワークフローに dbt を適用する自信が得られます。

Introduction to dbt

データエンジニアと分析専門家向けの実践的なコースでdbtスキルを向上させましょう。

中級 dbt

データエンジニアとアナリティクス向けの実践的なコースで、dbtスキルを次のレベルへ引き上げましょう。

dbtの基礎

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

テスト用クエリの検証

中級 dbt

実践的なインタラクティブ演習