Découvrez comment assurer la qualité des données avec des techniques de test avancées dans dbt. Explorez les tests intégrés, singuliers et réutilisables pour valider les modèles, les sources et les seeds. Comprenez comment définir des tests personnalisés avec Jinja, diagnostiquer les échecs et optimiser votre flux de validation pour détecter les incohérences avant qu’elles n’affectent les analyses en aval.

Introduction aux tests dans dbt

Options

Intégré

Non intégré

Tests intégrés

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Définir des tests sur un modèle

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Identifier les données erronées

Créer des tests singuliers

Processus de développement d’un test singulier

Étapes pour développer un test singulier

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Vérifier la durée des trajets

Requête de test valide

Requête de test non valide

Vérifier les requêtes de test

Créer des tests réutilisables personnalisés

Réutilisable

Singulier

Tests, tests, tests

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Mettre en place un test réutilisable

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Passer d’un test singulier à un test réutilisable

Tests et documentation

Faites progresser vos compétences dbt en mettant en place des workflows évolutifs, prêts pour la production. Apprenez à utiliser les sources et les seeds dbt pour améliorer la traçabilité des données, à implémenter des snapshots pour suivre les évolutions historiques, et à automatiser vos transformations avec dbt build. À la fin, vous serez prêt à gérer des pipelines de données à grande échelle en toute confiance.

Sources dbt

Modèles, sources, ou les deux ?

Ajouter une source

dbt seeds

Des grains de vérité

ZIP est le code

SCD2 avec les snapshots dbt (ancien)

Processus de snapshot

Problème de snapshot

Ajouter un snapshot

Automatiser avec dbt build

Que ne peut pas faire dbt build ?

Donner un coup de main au stagiaire !

Réunir tous les éléments

Déployer dbt en production

Faites passer vos compétences dbt au niveau supérieur avec ce cours pratique conçu pour les ingénieurs data et les professionnels de l’analytics. Vous explorerez des fonctionnalités avancées de dbt, notamment des stratégies de test personnalisées, des tests réutilisables, des sources, des seeds, ainsi que des snapshots pour suivre l’historique des changements de données. Apprenez à automatiser des pipelines dbt avec dbt build afin de garantir des transformations fiables et efficaces en production. Grâce à des exercices interactifs et à des scénarios concrets, vous gagnerez en assurance pour déployer dbt dans des workflows de données à grande échelle.

<h2>Maîtrisez les workflows DBT</h2>
<p>Améliorez vos compétences en matière de traitement des données et découvrez comment mettre en œuvre des workflows de transformation des données robustes et évolutifs dans un environnement de production. Ce cours est destiné aux ingénieurs de données, aux analystes et aux ingénieurs en analyse qui souhaitent aller au-delà des notions de base et acquérir une expérience pratique des fonctionnalités avancées de dbt.</p>

<h2>Assurez la qualité des données grâce à des tests avancés</h2>
<p>La création de pipelines de données fiables commence par la validation. Vous découvrirez des techniques de test avancées pour détecter les incohérences dans les données, créerez des tests personnalisés réutilisables pour normaliser la validation entre les modèles, et appliquerez des tests aux sources et aux graines pour une meilleure gouvernance et un meilleur suivi de la traçabilité des données.</p>

<h2>Tirez parti des sources, des graines et des instantanés dbt</h2>
<p>Découvrez comment les sources dbt peuvent améliorer la documentation et la traçabilité tout en garantissant la traçabilité des données brutes. Apprenez à utiliser les graines dbt pour gérer efficacement de petits ensembles de données statiques. Ensuite, maîtrisez la modification progressive des dimensions (SCD2) à l'aide des instantanés dbt, ce qui vous permet de suivre l'historique des modifications apportées à votre entrepôt de données avec un minimum d'effort.</p>

<h2>Automatisez et optimisez avec dbt Build</h2>
<p>L'efficacité est essentielle dans les environnements de production. Vous apprendrez à rationaliser les flux de travail avec dbt build, en automatisant l'exécution des modèles, les tests et les instantanés afin de garantir des transformations fiables. En optimisant votre pipeline, vous améliorerez les performances, la maintenabilité et l'évolutivité de vos projets dbt.</p>

<h2>Mettez vos compétences en pratique dans des situations réelles</h2>
<p>Grâce à des exercices interactifs et des mises en pratique, vous consoliderez vos connaissances et acquerrez la confiance nécessaire pour appliquer la TCD dans des situations réelles. À la fin de ce cours, vous serez en mesure de concevoir, tester et automatiser des workflows dbt prêts pour la production, garantissant ainsi des transformations de haute qualité et bien documentées à grande échelle.</p>


Introduction to dbt

Améliorez vos compétences dbt avec ce cours pratique pour ingénieurs en données et analystes.

dbt intermédiaire

Améliorez vos compétences en matière de base de données avec ce cours pratique conçu pour les ingénieurs de données et les professionnels de l'analyse.

dbt Fondamentaux

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Vérifier les requêtes de test

dbt intermédiaire

Exercice interactif pratique