Pelajari cara memastikan kualitas data dengan teknik pengujian tingkat lanjut di dbt. Jelajahi tes bawaan, singular, dan yang dapat digunakan kembali untuk memvalidasi model, sources, dan seeds. Pahami cara mendefinisikan tes kustom menggunakan Jinja, menelusuri kegagalan, dan mengoptimalkan alur validasi Anda untuk menangkap ketidakkonsistenan sebelum memengaruhi analisis hilir.

Pengantar pengujian di dbt

Opsi

Bawaan

Bukan bawaan

Pengujian bawaan

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Mendefinisikan pengujian pada sebuah model

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Menemukan data bermasalah

Membuat singular tests

Proses pengembangan singular test

Langkah membuat singular test

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Memverifikasi durasi perjalanan

Kueri pengujian valid

Kueri pengujian tidak valid

Memverifikasi kueri pengujian

Membuat pengujian kustom yang dapat digunakan ulang

Options

Reusable

Singular

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Mengimplementasikan sebuah test yang dapat digunakan kembali

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Memperbarui dari singular test ke reusable test

Pengujian & Dokumentasi

Tingkatkan keterampilan dbt Anda dengan menerapkan alur kerja yang skalabel dan siap produksi. Pelajari cara menggunakan dbt sources dan seeds untuk meningkatkan lineage data, menerapkan snapshots untuk melacak perubahan historis, serta mengotomatiskan transformasi Anda dengan dbt build. Pada akhir modul, Anda akan siap mengelola pipeline data skala besar dengan percaya diri.

dbt sources

Model, sumber, atau keduanya?

Menambahkan source

dbt seeds

Butir kebenaran

ZIP adalah kodenya

SCD2 dengan dbt snapshots lama

Proses snapshot

Masalah snapshot

Menambahkan snapshot

Otomatisasi dengan dbt build

Apa yang tidak dapat dilakukan oleh dbt build?

Membantu anak magang!

Menggabungkan semuanya

Menerapkan dbt di produksi

Tingkatkan keterampilan dbt Anda dengan kursus praktis ini yang dirancang untuk data engineer dan profesional analitik. Anda akan mempelajari fitur dbt tingkat lanjut, termasuk strategi pengujian kustom, tes yang dapat digunakan kembali, sources, seeds, dan snapshots untuk melacak perubahan data historis. Pelajari cara mengotomatiskan pipeline dbt menggunakan dbt build, sehingga transformasi di lingkungan produksi menjadi andal dan efisien. Melalui latihan interaktif dan skenario dunia nyata, Anda akan memperoleh kepercayaan diri untuk menerapkan dbt dalam alur kerja data skala besar.

<h2>Menguasai Alur Kerja DBT</h2>
<p>Tingkatkan keterampilan DBT Anda ke level berikutnya dan pelajari cara mengimplementasikan alur kerja transformasi data yang andal dan skalabel di lingkungan produksi. Kursus ini dirancang untuk insinyur data, analis, dan insinyur analitik yang ingin melampaui dasar-dasar dan memperoleh pengalaman praktis dengan fitur-fitur lanjutan dbt.</p>

<h2>Pastikan Kualitas Data dengan Pengujian Lanjutan</h2>
<p>Membangun saluran data yang andal dimulai dengan validasi. Anda akan mempelajari teknik pengujian lanjutan untuk mendeteksi ketidakkonsistenan data, membuat tes kustom yang dapat digunakan ulang untuk mengstandarkan validasi di seluruh model, dan menerapkan tes pada sumber data dan benih data untuk meningkatkan tata kelola dan pelacakan jejak data.</p>

<h2>Manfaatkan Sumber, Benih, dan Snapshot dbt</h2>
<p>Temukan bagaimana sumber dbt dapat meningkatkan dokumentasi dan jejak data sambil memastikan jejak data mentah. Pelajari cara menggunakan dbt seeds untuk mengelola dataset kecil dan statis secara efisien. Kemudian, gunakan Master Slowly Changing Dimensions (SCD2) dengan snapshot dbt, yang memungkinkan Anda melacak perubahan historis dalam data warehouse Anda dengan usaha minimal.</p>

<h2>Otomatisasi dan Optimalisasi dengan dbt Build</h2>
<p>Efisiensi merupakan hal yang paling penting dalam lingkungan produksi. Anda akan belajar cara mengoptimalkan alur kerja dengan dbt build, mengotomatisasi eksekusi model, pengujian, dan snapshot untuk memastikan transformasi yang andal. Dengan mengoptimalkan pipeline Anda, Anda akan meningkatkan kinerja, kemudahan pemeliharaan, dan skalabilitas proyek dbt Anda.</p>

<h2>Terapkan Keterampilan Anda dalam Situasi Nyata</h2>
<p>Melalui latihan interaktif dan praktik langsung, Anda akan memperkuat pengetahuan Anda dan memperoleh kepercayaan diri untuk menerapkan DBT dalam situasi nyata. Pada akhir kursus ini, Anda akan mampu merancang, menguji, dan mengotomatisasi alur kerja dbt yang siap produksi, memastikan transformasi berkualitas tinggi dan terdokumentasi dengan baik pada skala besar.</p>


Introduction to dbt

Tingkatkan keterampilan dbt Anda dengan kursus praktis ini untuk insinyur data dan profesional analitik.

dbt Tingkat Menengah

Tingkatkan keterampilan DBT Anda ke level berikutnya dengan kursus praktis ini yang dirancang khusus untuk insinyur data dan profesional analitik.

Memperbarui dari singular test ke reusable test

dbt Tingkat Menengah

Latihan interaktif langsung