Дізнайтеся, як забезпечувати якість даних за допомогою розширених технік тестування в dbt. Розгляньте вбудовані, singular і багаторазові тести для перевірки моделей, sources і seeds. Зрозумійте, як визначати власні тести за допомогою Jinja, знаходити причини збоїв і оптимізувати процес валідації, щоб виявляти невідповідності до того, як вони вплинуть на подальшу аналітику.

Вступ до тестування в dbt

Варіанти

Вбудовані

Не вбудовані

Вбудовані тести

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Визначення тестів для моделі

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Пошук некоректних даних

Створення окремих тестів

Процес розробки singular-тесту

Кроки для розробки singular-тесту

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Перевірка тривалості поїздки

Параметри

Коректний тестовий запит

Некоректний тестовий запит

Перевірка тестових запитів

Створення власних багаторазових тестів

Reusable (повторновикористовний)

Singular (окремий)

Тестування, тестування, тестування

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Реалізація багаторазового тесту

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Оновлення від одиничного до багаторазового тесту

Тестування та документація

Підніміть свої навички dbt на новий рівень, впроваджуючи масштабовані робочі процеси, готові до продакшну. Дізнайтеся, як використовувати dbt sources і seeds для покращення лінійності даних, застосовувати snapshots для відстеження історичних змін і автоматизувати перетворення за допомогою dbt build. Наприкінці ви будете готові впевнено керувати масштабними конвеєрами даних.

джерела dbt

Моделі, джерела чи обидва?

Додавання source

dbt seeds

Зерна істини

ZIP — це код

SCD2 за допомогою знімків dbt (старе)

Процес створення snapshot

Проблема зі snapshot

Додавання snapshot

Автоматизація за допомогою dbt build

Чого не вміє dbt build?

Допомога стажеру!

Збираємо все докупи

Впровадження dbt у продакшн

Поглибте свої навички роботи з dbt на практичному курсі для інженерів даних і фахівців з аналітики. Ви дослідите розширені можливості dbt: користувацькі стратегії тестування, багаторазові тести, sources, seeds і snapshots для відстеження історичних змін у даних. Дізнайтеся, як автоматизувати конвеєри dbt за допомогою dbt build, щоб забезпечити надійні та ефективні перетворення в продакшн-середовищі. Завдяки інтерактивним вправам і реальним сценаріям ви отримаєте впевненість у впровадженні dbt у масштабні робочі процеси з даними.

<h2>Опануйте робочі процеси dbt</h2>
<p>Підніміть свої навички dbt на новий рівень і дізнайтеся, як впроваджувати надійні, масштабовані робочі процеси трансформації даних у виробничому середовищі. Цей курс створено для інженерів даних, аналітиків і аналітичних інженерів, які хочуть вийти за межі базового рівня та отримати практичний досвід роботи з розширеними можливостями dbt.</p>

<h2>Забезпечте якість даних за допомогою розширеного тестування</h2>
<p>Створення надійних конвеєрів даних починається з валідації. Ви ознайомитеся з передовими методами тестування, щоб виявляти невідповідності в даних, створювати власні повторно використовувані тести для стандартизації валідації між моделями та застосовувати тести до джерел і seed-даних для кращого контролю та відстеження походження даних.</p>

<h2>Використовуйте dbt Sources, Seeds і Snapshots</h2>
<p>Дізнайтеся, як джерела dbt можуть покращити документацію та походження даних, забезпечуючи при цьому відстежуваність сирих даних. Навчіться використовувати dbt seeds для ефективного керування невеликими статичними наборами даних. Потім опануйте повільно змінювані виміри (SCD2) за допомогою dbt snapshots, що дасть змогу відстежувати історичні зміни у вашому сховищі даних з мінімальними зусиллями.</p>

<h2>Автоматизуйте та оптимізуйте за допомогою dbt Build</h2>
<p>Ефективність є ключовою у виробничих середовищах. Ви дізнаєтеся, як оптимізувати робочі процеси за допомогою dbt build, автоматизуючи виконання моделей, тести та snapshots, щоб забезпечити надійні трансформації. Оптимізуючи свій пайплайн, ви підвищите продуктивність, зручність супроводу та масштабованість ваших проєктів dbt.</p>

<h2>Застосуйте свої навички в реальних сценаріях</h2>
<p>Завдяки інтерактивним вправам і практиці ви закріпите свої знання та здобудете впевненість у застосуванні dbt у реальних умовах. Після завершення курсу ви будете готові проєктувати, тестувати й автоматизувати dbt-робочі процеси, придатні для промислового використання, забезпечуючи високоякісні та добре задокументовані трансформації у масштабі.</p>


Introduction to dbt

Покращуйте навички dbt з цим практичним курсом для інженерів даних та аналітиків.

Середній рівень dbt

Підніміть свої навички dbt на новий рівень із цим практичним курсом для інженерів даних і фахівців з аналітики.

Основи dbt

Файл тесту, у якому останнім рядком є `{% endtest %}`.

`select * from {{ ref('order') }} where fulfilled = 1`

Тестування, тестування, тестування

Середній рівень dbt

Практична інтерактивна вправа