dbt의 고급 테스트 기법으로 데이터 품질을 보장하는 방법을 배웁니다. 모델, sources, seeds를 검증하기 위한 기본 제공 테스트, 단일(singular) 테스트, 재사용 가능한 테스트를 살펴봅니다. Jinja로 사용자 지정 테스트를 정의하고, 실패를 디버깅하며, 하류 분석에 영향을 주기 전에 불일치를 잡아내도록 검증 워크플로를 최적화하는 방법을 이해합니다.

dbt 테스트 소개

옵션

기본 제공

기본 제공 아님

기본 제공 테스트

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


모델에 대한 테스트 정의하기

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

불량 데이터 찾기

단일 테스트 만들기

단일 테스트 개발 프로세스

단일(singular) 테스트 개발 단계

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

여정 소요 시간 검증하기

유효한 테스트 쿼리

유효하지 않은 테스트 쿼리

테스트 쿼리 검증하기

맞춤형 재사용 테스트 만들기

Options

Reusable

Singular

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

재사용 가능한 테스트 구현하기

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

단일 테스트를 재사용 가능한 테스트로 업데이트하기

테스트와 문서화

확장 가능하고 운영 준비가 된 워크플로를 구축하며 dbt 실무 역량을 한 단계 높여 보세요. 데이터 계보를 개선하기 위해 dbt sources와 seeds를 사용하는 법, 히스토리 변경을 추적하기 위한 snapshots 구현, 그리고 dbt build로 변환 작업을 자동화하는 방법을 학습합니다. 강의가 끝나면 대규모 데이터 파이프라인을 자신 있게 관리할 수 있게 됩니다.

dbt 소스

Models, sources, or both?

소스 추가하기

dbt seeds

진실의 알맹이

ZIP is the code

dbt snapshots로 구현하는 SCD2(구 버전)

스냅샷 프로세스

스냅샷 문제

스냅샷 추가하기

dbt build로 자동화하기

dbt build가 할 수 없는 것은 무엇인가요?

인턴 돕기!

모든 것을 종합해 보기

운영 환경에서 dbt 구현

데이터 엔지니어와 분석 전문가를 위한 실습 중심 강의로 dbt 역량을 한 단계 끌어올려 보세요. 사용자 지정 테스트 전략, 재사용 가능한 테스트, sources, seeds, snapshots 등 고급 dbt 기능을 다루며, 히스토리 데이터 변경 추적 방법을 익힙니다. 또한 dbt build를 사용해 dbt 파이프라인을 자동화하여 운영 환경에서 안정적이고 효율적인 변환을 보장하는 방법을 배웁니다. 대화형 연습과 실제 시나리오를 통해 대규모 데이터 워크플로에 dbt를 자신 있게 적용할 수 있습니다.

Introduction to dbt

데이터 엔지니어와 분석 전문가를 위한 실습 과정으로 dbt 기술을 향상하세요.

중급 dbt

데이터 엔지니어와 분석 전문가를 위한 실습형 과정으로 dbt 역량을 한 단계 끌어올리세요.

dbt 기초

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

테스트 쿼리 검증하기

중급 dbt

실습형 인터랙티브 연습문제