Leer hoe je datakwaliteit waarborgt met geavanceerde testtechnieken in dbt. Verken ingebouwde, singuliere en herbruikbare tests om modellen, sources en seeds te valideren. Begrijp hoe je aangepaste tests definieert met Jinja, storingen oplost en je validatieworkflow optimaliseert om inconsistenties te onderscheppen voordat ze de downstream-analyse beïnvloeden.

Introductie tot testen in dbt

Opties

Ingebouwd

Niet ingebouwd

Ingebouwde tests

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Tests definiëren op een model

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Slechte data opsporen

Singuliere tests maken

Proces voor het ontwikkelen van een singular test

Stappen om een singular test te ontwikkelen

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Reisduur controleren

Geldige testquery

Ongeldige testquery

Testqueries verifiëren

Aangepaste, herbruikbare tests maken

Options

Herbruikbaar

Singular

Testen, testen, testen

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Een herbruikbare test implementeren

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Updaten van singuliere naar herbruikbare test

Testen en documentatie

Breng je dbt-vaardigheden verder door schaalbare, productieklare workflows te implementeren. Leer hoe je dbt sources en seeds gebruikt om datastromen en herkomst te verbeteren, snapshots inzet om historische wijzigingen te volgen, en je transformaties automatiseert met dbt build. Aan het eind ben je in staat grootschalige datapijplijnen met vertrouwen te beheren.

dbt-sources

Modellen, sources, of allebei?

Een source toevoegen

dbt seeds

Korrels waarheid

ZIP is de code

SCD2 met dbt snapshots (oud)

Snapshot-proces

Snapshotprobleem

Een snapshot toevoegen

Automatiseren met dbt build

Wat kan dbt build niet doen?

De stagiair helpen!

Alles samenbrengen

dbt implementeren in productie

Breng je dbt-vaardigheden naar een hoger niveau met deze praktijkgerichte cursus voor data engineers en analytics-professionals. Je verkent geavanceerde dbt-functies, waaronder aangepaste teststrategieën, herbruikbare tests, sources, seeds en snapshots om historische gegevenswijzigingen te volgen. Leer hoe je dbt-pijplijnen automatiseert met dbt build, zodat transformaties in productieomgevingen betrouwbaar en efficiënt verlopen. Met interactieve oefeningen en realistische scenario’s krijg je het vertrouwen om dbt toe te passen in grootschalige dataworkflows.

<h2>Word een expert in dbt-workflows</h2>
<p>Til je DBT-vaardigheden naar een hoger niveau en leer hoe je robuuste, schaalbare workflows voor datatransformatie kunt implementeren in een productieomgeving. Deze cursus is voor data-engineers, analisten en analytics-engineers die verder willen gaan dan de basis en praktische ervaring willen opdoen met geavanceerde dbt-functies.</p>

<h2>Zorg voor datakwaliteit met geavanceerde tests</h2>
<p>Het bouwen van betrouwbare datapijplijnen begint met validatie. Je gaat geavanceerde testtechnieken ontdekken om inconsistenties in gegevens op te sporen, herbruikbare tests op maat maken om validatie tussen modellen te standaardiseren, en tests toepassen op bronnen en seeds voor beter beheer en het volgen van gegevensherkomst.</p>

<h2>Maak gebruik van dbt-bronnen, seeds en snapshots</h2>
<p>Ontdek hoe dbt-bronnen je documentatie en afkomst kunnen verbeteren en tegelijkertijd de traceerbaarheid van ruwe gegevens kunnen garanderen. Leer hoe je dbt seeds kunt gebruiken om kleine, statische datasets efficiënt te beheren. Leer dan langzaam dimensies aanpassen (SCD2) met dbt-snapshots, zodat je met weinig moeite historische veranderingen in je datawarehouse kunt volgen.</p>

<h2>Automatiseer en optimaliseer met dbt Build</h2>
<p>Efficiëntie is superbelangrijk in productieomgevingen. Je leert hoe je workflows kunt stroomlijnen met dbt build, door het uitvoeren van modellen, tests en snapshots te automatiseren om betrouwbare transformaties te garanderen. Door je pijplijn te optimaliseren, verbeter je de prestaties, onderhoudbaarheid en schaalbaarheid van je dbt-projecten.</p>

<h2>Gebruik je vaardigheden in echte situaties</h2>
<p>Door interactieve oefeningen en praktijkervaring versterk je je kennis en krijg je het zelfvertrouwen om dbt in de praktijk toe te passen. Aan het einde van de cursus kun je productieklaar dbt-workflows ontwerpen, testen en automatiseren, zodat je zeker weet dat je hoogwaardige en goed gedocumenteerde transformaties op grote schaal kunt doen.</p>


Introduction to dbt

Verhoog je dbt-vaardigheden met deze praktijkcursus voor data-engineers en analytics-professionals.

Gevorderde dbt

Trek je DBT-vaardigheden naar een hoger niveau met deze praktische cursus, speciaal gemaakt voor data-engineers en analytics-professionals.

dbt-basisprincipes

Een testbestand met `{% endtest %}` als laatste regel.

`select * from {{ ref('order') }} where fulfilled = 1`

Testen, testen, testen

Gevorderde dbt

Interactieve oefening met praktijkervaring