Learn how to ensure data quality with advanced testing techniques in dbt. Explore built-in, singular, and reusable tests to validate models, sources, and seeds. Understand how to define custom tests using Jinja, troubleshoot failures, and optimize your validation workflow to catch inconsistencies before they impact downstream analysis.

Introduzione al testing in dbt

Opzioni

Integrati

Non integrati

Test integrati

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Definire test su un modello

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Individuare dati errati

Creare test singoli

Processo di sviluppo di un test singolare

Passaggi per sviluppare un test singolare

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Verifica della durata della corsa

Query di test valida

Query di test non valida

Verificare le query di test

Creare test personalizzati riutilizzabili

Riutilizzabile

Singolare

Testing, testing, testing

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Implementare un test riutilizzabile

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Aggiornare da test singolare a test riutilizzabile

Testing & Documentation

Take your dbt skills to the next level by implementing scalable, production-ready workflows. Learn how to use dbt sources and seeds to improve data lineage, implement snapshots for tracking historical changes, and automate your transformations with dbt build. By the end, you’ll be equipped to manage large-scale data pipelines with confidence.

dbt sources

Models, sources, or both?

Adding a source

dbt seeds

Kernels of truth

ZIP is the code

SCD2 with dbt snapshots old

Snapshot process

Snapshot issue

Adding a snapshot

Automating with dbt build

What can't dbt build do?

Helping the intern!

Putting it all together

Implementing dbt in production

Porta le tue competenze su dbt al livello successivo con questo corso pratico pensato per data engineer e professionisti dell’analisi. Esplorerai funzionalità avanzate di dbt, incluse strategie di test personalizzate, test riutilizzabili, fonti, seed e snapshot per tracciare le modifiche storiche ai dati. Impara ad automatizzare le pipeline dbt usando dbt build, assicurando trasformazioni affidabili ed efficienti in ambienti di produzione. Con esercizi interattivi e scenari reali, acquisirai la sicurezza per applicare dbt in workflow di dati su larga scala.

<h2>Padroneggia i flussi di lavoro DBT</h2>
<p>Porta le tue competenze in materia di dbt al livello successivo e scopri come implementare flussi di lavoro di trasformazione dei dati robusti e scalabili in un ambiente di produzione. Questo corso è pensato per ingegneri dei dati, analisti e ingegneri analitici che vogliono andare oltre le nozioni di base e fare esperienza pratica con le funzionalità avanzate di dbt.</p>

<h2>Garantire la qualità dei dati con test avanzati</h2>
<p>Per creare pipeline di dati affidabili, bisogna prima di tutto fare la convalida. Scoprirai tecniche di test avanzate per individuare incongruenze nei dati, creare test personalizzati riutilizzabili per standardizzare la convalida tra i modelli e applicare test a fonti e seed per una migliore governance e tracciabilità della provenienza dei dati.</p>

<h2>Sfrutta le fonti, i seed e gli snapshot di dbt</h2>
<p>Scopri come le fonti dbt possono migliorare la documentazione e la tracciabilità, assicurando al contempo la tracciabilità dei dati grezzi. Impara a usare i seed dbt per gestire in modo efficiente piccoli set di dati statici. Quindi, impara a gestire lentamente le modifiche delle dimensioni (SCD2) con le istantanee dbt, che ti permettono di tenere traccia delle modifiche storiche nel tuo data warehouse con il minimo sforzo.</p>

<h2>Automatizza e ottimizza con dbt Build</h2>
<p>L'efficienza è fondamentale negli ambienti di produzione. Imparerai come semplificare i flussi di lavoro con dbt build, automatizzando l'esecuzione dei modelli, i test e gli snapshot per garantire trasformazioni affidabili. Ottimizzando la tua pipeline, migliorerai le prestazioni, la manutenibilità e la scalabilità dei tuoi progetti dbt.</p>

<h2>Metti alla prova le tue abilità in situazioni reali</h2>
<p>Grazie a esercizi interattivi e attività pratiche, potrai rafforzare le tue conoscenze e acquisire la sicurezza necessaria per applicare la dbt in contesti reali. Alla fine del corso, avrai tutte le carte in regola per progettare, testare e automatizzare flussi di lavoro dbt pronti per la produzione, garantendo trasformazioni di alta qualità e ben documentate su larga scala.</p>


Introduction to dbt

Migliora le tue competenze dbt con questo corso pratico per ingegneri dati e professionisti analitici.

dbt intermedio

Porta le tue competenze in materia di DBT a un livello superiore con questo corso pratico pensato per ingegneri dei dati e professionisti dell'analisi.

Fondamenti del dbt

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Verificare le query di test

dbt intermedio

Esercizio pratico interattivo