Học cách đảm bảo chất lượng dữ liệu với các kỹ thuật kiểm thử nâng cao trong dbt. Khám phá các kiểm thử built-in, singular và có thể tái sử dụng để xác nhận models, sources và seeds. Hiểu cách định nghĩa kiểm thử tùy chỉnh bằng Jinja, xử lý lỗi khi kiểm thử thất bại và tối ưu quy trình xác thực để phát hiện bất nhất trước khi ảnh hưởng đến phân tích ở các bước sau.

Giới thiệu về kiểm thử trong dbt

Tùy chọn

Dựng sẵn

Không dựng sẵn

Kiểm thử dựng sẵn

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Định nghĩa các bài kiểm thử trên một model

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Tìm dữ liệu lỗi

Tạo các bài kiểm thử đơn lẻ

Quy trình phát triển singular test

Các bước phát triển một singular test

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Xác minh thời lượng chuyến đi

Truy vấn kiểm thử hợp lệ

Truy vấn kiểm thử không hợp lệ

Xác minh các truy vấn kiểm thử

Tạo các kiểm thử tùy chỉnh có thể tái sử dụng

Options

Reusable

Singular

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Triển khai một kiểm thử tái sử dụng

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Cập nhật từ kiểm thử đơn lẻ sang kiểm thử tái sử dụng

Kiểm thử & Tài liệu hóa

Nâng kỹ năng dbt của bạn lên tầm cao mới bằng cách triển khai các quy trình sẵn sàng cho production và có khả năng mở rộng. Học cách dùng dbt sources và seeds để cải thiện lineage dữ liệu, triển khai snapshots để theo dõi thay đổi lịch sử, và tự động hóa các phép biến đổi với dbt build. Kết thúc chương, bạn sẽ đủ tự tin quản lý các pipeline dữ liệu quy mô lớn.

dbt sources

Models, sources, hay cả hai?

Thêm một source

dbt seeds

Nhận định đúng

ZIP là mã vùng

SCD2 với dbt snapshots (phiên bản cũ)

Quy trình snapshot

Sự cố snapshot

Thêm một snapshot

Tự động hóa với dbt build

dbt build không làm được gì?

Giúp thực tập sinh!

Tổng hợp mọi thứ

Triển khai dbt trong production

Nâng cấp kỹ năng dbt của bạn với khóa học thực hành dành cho kỹ sư dữ liệu và chuyên gia phân tích. Bạn sẽ khám phá các tính năng nâng cao của dbt, bao gồm chiến lược kiểm thử tùy chỉnh, kiểm thử có thể tái sử dụng, sources, seeds và snapshots để theo dõi thay đổi dữ liệu theo thời gian. Học cách tự động hóa pipeline dbt bằng dbt build để đảm bảo các phép biến đổi ổn định và hiệu quả trong môi trường production. Với các bài tập tương tác và tình huống thực tế, bạn sẽ tự tin triển khai dbt trong các quy trình dữ liệu quy mô lớn.

Introduction to dbt

Nâng cao kỹ năng dbt với khóa học thực hành này dành cho kỹ sư dữ liệu và chuyên gia phân tích.

dbt trung cấp

Nâng cao kỹ năng dbt của bạn với khóa học thực hành này được thiết kế dành cho các kỹ sư dữ liệu và chuyên gia phân tích.

Cơ bản về dbt

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Xác minh các truy vấn kiểm thử

dbt trung cấp

Bài tập tương tác thực hành