Nauč se zajišťovat kvalitu dat pomocí pokročilých testovacích technik v dbt. Prozkoumej vestavěné, singulární a znovupoužitelné testy pro ověřování modelů, zdrojů a seeds. Pochop, jak definovat vlastní testy pomocí Jinja, řešit selhání testů a optimalizovat validační workflow tak, aby se nesrovnalosti odhalily dřív, než ovlivní navazující analýzy.

Úvod do testování v dbt

Možnosti

Vestavěné

Není vestavěné

Vestavěné testy

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Definování testů na modelu

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Hledání chybných dat

Vytváření singulárních testů

Postup vývoje singulárního testu

Postup při vytváření singulárního testu

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Ověření doby trvání jízdy

Platný testovací dotaz

Neplatný testovací dotaz

Ověřování testovacích dotazů

Vytváření vlastních znovupoužitelných testů

Reusable

Singular

Testujeme, testujeme, testujeme

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Implementace znovupoužitelného testu

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Převod singulárního testu na znovupoužitelný

Testování a dokumentace

Posuň své dovednosti v dbt na vyšší úroveň implementací škálovatelných workflow připravených pro produkci. Naučíš se používat dbt zdroje a seeds ke zlepšení datové linie, implementovat snapshoty pro sledování historických změn a automatizovat transformace pomocí dbt build. Na konci kurzu budeš připraven/a spravovat rozsáhlé datové pipeline s plnou jistotou.

dbt sources

Modely, sources, nebo obojí?

Přidání zdroje

dbt seeds

Zrna pravdy

ZIP je kód

SCD2 s dbt snapshots – starý záznam

Proces vytvoření snapshotu

Problém se snapshotem

Přidání snapshotu

Automatizace pomocí dbt build

Co dbt build neumí?

Pomoz stážistovi!

Vše dohromady

Nasazení dbt do produkce

Posuň své dovednosti v dbt na vyšší úroveň s tímto praktickým kurzem určeným pro datové inženýry a analytiky. Prozkoumáš pokročilé funkce dbt, včetně vlastních testovacích strategií, znovupoužitelných testů, zdrojů, seeds a snapshotů pro sledování historických změn dat. Naučíš se automatizovat dbt pipeline pomocí dbt build a zajistit tak spolehlivé a efektivní transformace v produkčním prostředí. Díky interaktivním cvičením a reálným scénářům získáš jistotu pro nasazení dbt ve velkých datových pipeline.

<h2>Zvládněte pracovní postupy dbt</h2>
<p>Posuňte své dovednosti v dbt na vyšší úroveň a naučte se implementovat robustní a škálovatelné workflow pro transformaci dat v produkčním prostředí. Tento kurz je určen datovým inženýrům, analytikům a analytickým inženýrům, kteří chtějí jít nad rámec základů a získat praktické zkušenosti s pokročilými funkcemi dbt.</p>

<h2>Zajistěte kvalitu dat pomocí pokročilého testování</h2>
<p>Budování spolehlivých datových pipeline začíná validací. Prozkoumáš pokročilé techniky testování, které odhalí nesrovnalosti v datech, vytvoříš vlastní znovupoužitelné testy pro standardizaci validace napříč modely a použiješ testy na zdroje a seed data pro lepší správu a sledování datové lineage.</p>

<h2>Využijte dbt Sources, Seeds a Snapshots</h2>
<p>Objevte, jak mohou zdroje dbt zlepšit dokumentaci a lineage a zároveň zajistit dohledatelnost surových dat. Naučte se používat dbt seeds pro efektivní správu malých, statických datových sad. Poté si osvojíte pomalu se měnící dimenze (SCD2) pomocí dbt snapshots, díky nimž budete moci s minimálním úsilím sledovat historické změny ve svém datovém skladu.</p>

<h2>Automatizujte a optimalizujte s dbt Build</h2>
<p>Efektivita je v produkčním prostředí klíčová. Naučíte se, jak zefektivnit pracovní postupy pomocí dbt build, automatizovat spouštění modelů, testů a snapshotů, abyste zajistili spolehlivé transformace. Optimalizací svého pipeline zlepšíte výkon, udržovatelnost a škálovatelnost svých projektů dbt.</p>

<h2>Uplatněte své dovednosti v reálných situacích</h2>
<p>Prostřednictvím interaktivních cvičení a praktického procvičování si upevníte své znalosti a získáte jistotu při používání dbt v reálných situacích. Na konci kurzu budete vybaveni k návrhu, testování a automatizaci produkčně připravených dbt workflow, čímž zajistíte vysoce kvalitní a dobře zdokumentované transformace ve velkém měřítku.</p>


Introduction to dbt

Vylepšete své dbt dovednosti s praktickým kurzem pro datové inženýry a analytiky.

Intermediate dbt

Posuňte své dovednosti v dbt na vyšší úroveň s tímto praktickým kurzem pro datové inženýry a analytické profesionály.

Základy dbt

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Ověřování testovacích dotazů

Intermediate dbt

Interaktivní praktické cvičení