Học cách đảm bảo chất lượng dữ liệu với các kỹ thuật kiểm thử nâng cao trong dbt. Khám phá các kiểm thử built-in, singular và có thể tái sử dụng để xác nhận models, sources và seeds. Hiểu cách định nghĩa kiểm thử tùy chỉnh bằng Jinja, xử lý lỗi khi kiểm thử thất bại và tối ưu quy trình xác thực để phát hiện bất nhất trước khi ảnh hưởng đến phân tích ở các bước sau.

Giới thiệu về kiểm thử trong dbt

Kiểm thử dựng sẵn

Định nghĩa các bài kiểm thử trên một model

Tìm dữ liệu lỗi

Tạo các bài kiểm thử đơn lẻ

Các bước phát triển một singular test

Xác minh thời lượng chuyến đi

Xác minh các truy vấn kiểm thử

Tạo các kiểm thử tùy chỉnh có thể tái sử dụng

Testing, testing, testing

Triển khai một kiểm thử tái sử dụng

Cập nhật từ kiểm thử đơn lẻ sang kiểm thử tái sử dụng

Kiểm thử & Tài liệu hóa

Nâng kỹ năng dbt của bạn lên tầm cao mới bằng cách triển khai các quy trình sẵn sàng cho production và có khả năng mở rộng. Học cách dùng dbt sources và seeds để cải thiện lineage dữ liệu, triển khai snapshots để theo dõi thay đổi lịch sử, và tự động hóa các phép biến đổi với dbt build. Kết thúc chương, bạn sẽ đủ tự tin quản lý các pipeline dữ liệu quy mô lớn.

dbt sources

Tùy chọn

Chỉ dbt models

Chung cho models và sources

Chỉ dbt sources

Models, sources, hay cả hai?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Thêm một source

dbt seeds

Nhận định đúng

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP là mã vùng

SCD2 với dbt snapshots (phiên bản cũ)

Quy trình tạo snapshot

Quy trình snapshot

Sự cố snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Thêm một snapshot

Tự động hóa với dbt build

`dbt build` thực thi bước này

`dbt build` sẽ không chạy mục này

dbt build không làm được gì?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Giúp thực tập sinh!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Tổng hợp mọi thứ

Triển khai dbt trong production

Nâng cấp kỹ năng dbt của bạn với khóa học thực hành dành cho kỹ sư dữ liệu và chuyên gia phân tích. Bạn sẽ khám phá các tính năng nâng cao của dbt, bao gồm chiến lược kiểm thử tùy chỉnh, kiểm thử có thể tái sử dụng, sources, seeds và snapshots để theo dõi thay đổi dữ liệu theo thời gian. Học cách tự động hóa pipeline dbt bằng dbt build để đảm bảo các phép biến đổi ổn định và hiệu quả trong môi trường production. Với các bài tập tương tác và tình huống thực tế, bạn sẽ tự tin triển khai dbt trong các quy trình dữ liệu quy mô lớn.

Introduction to dbt

Nâng cao kỹ năng dbt với khóa học thực hành này dành cho kỹ sư dữ liệu và chuyên gia phân tích.

dbt trung cấp

Nâng cao kỹ năng dbt của bạn với khóa học thực hành này được thiết kế dành cho các kỹ sư dữ liệu và chuyên gia phân tích.

Cơ bản về dbt

Tạo một file `.sql` và đặt tên theo snapshot

Quy trình snapshot

dbt trung cấp

Bài tập tương tác thực hành