Découvrez comment assurer la qualité des données avec des techniques de test avancées dans dbt. Explorez les tests intégrés, singuliers et réutilisables pour valider les modèles, les sources et les seeds. Comprenez comment définir des tests personnalisés avec Jinja, diagnostiquer les échecs et optimiser votre flux de validation pour détecter les incohérences avant qu’elles n’affectent les analyses en aval.

Introduction aux tests dans dbt

Tests intégrés

Définir des tests sur un modèle

Identifier les données erronées

Créer des tests singuliers

Étapes pour développer un test singulier

Vérifier la durée des trajets

Vérifier les requêtes de test

Créer des tests réutilisables personnalisés

Tests, tests, tests

Mettre en place un test réutilisable

Passer d’un test singulier à un test réutilisable

Tests et documentation

Faites progresser vos compétences dbt en mettant en place des workflows évolutifs, prêts pour la production. Apprenez à utiliser les sources et les seeds dbt pour améliorer la traçabilité des données, à implémenter des snapshots pour suivre les évolutions historiques, et à automatiser vos transformations avec dbt build. À la fin, vous serez prêt à gérer des pipelines de données à grande échelle en toute confiance.

Sources dbt

Options

Uniquement les modèles dbt

Commun aux modèles et aux sources

Uniquement les sources dbt

Modèles, sources, ou les deux ?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Ajouter une source

dbt seeds

Des grains de vérité

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP est le code

SCD2 avec les snapshots dbt (ancien)

Processus de création d’un snapshot

Processus de snapshot

Problème de snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Ajouter un snapshot

Automatiser avec dbt build

dbt build exécute cette étape

dbt build n’exécute pas ceci

Que ne peut pas faire dbt build ?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Donner un coup de main au stagiaire !

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Réunir tous les éléments

Déployer dbt en production

Faites passer vos compétences dbt au niveau supérieur avec ce cours pratique conçu pour les ingénieurs data et les professionnels de l’analytics. Vous explorerez des fonctionnalités avancées de dbt, notamment des stratégies de test personnalisées, des tests réutilisables, des sources, des seeds, ainsi que des snapshots pour suivre l’historique des changements de données. Apprenez à automatiser des pipelines dbt avec dbt build afin de garantir des transformations fiables et efficaces en production. Grâce à des exercices interactifs et à des scénarios concrets, vous gagnerez en assurance pour déployer dbt dans des workflows de données à grande échelle.

<h2>Maîtrisez les workflows DBT</h2>
<p>Améliorez vos compétences en matière de traitement des données et découvrez comment mettre en œuvre des workflows de transformation des données robustes et évolutifs dans un environnement de production. Ce cours est destiné aux ingénieurs de données, aux analystes et aux ingénieurs en analyse qui souhaitent aller au-delà des notions de base et acquérir une expérience pratique des fonctionnalités avancées de dbt.</p>

<h2>Assurez la qualité des données grâce à des tests avancés</h2>
<p>La création de pipelines de données fiables commence par la validation. Vous découvrirez des techniques de test avancées pour détecter les incohérences dans les données, créerez des tests personnalisés réutilisables pour normaliser la validation entre les modèles, et appliquerez des tests aux sources et aux graines pour une meilleure gouvernance et un meilleur suivi de la traçabilité des données.</p>

<h2>Tirez parti des sources, des graines et des instantanés dbt</h2>
<p>Découvrez comment les sources dbt peuvent améliorer la documentation et la traçabilité tout en garantissant la traçabilité des données brutes. Apprenez à utiliser les graines dbt pour gérer efficacement de petits ensembles de données statiques. Ensuite, maîtrisez la modification progressive des dimensions (SCD2) à l'aide des instantanés dbt, ce qui vous permet de suivre l'historique des modifications apportées à votre entrepôt de données avec un minimum d'effort.</p>

<h2>Automatisez et optimisez avec dbt Build</h2>
<p>L'efficacité est essentielle dans les environnements de production. Vous apprendrez à rationaliser les flux de travail avec dbt build, en automatisant l'exécution des modèles, les tests et les instantanés afin de garantir des transformations fiables. En optimisant votre pipeline, vous améliorerez les performances, la maintenabilité et l'évolutivité de vos projets dbt.</p>

<h2>Mettez vos compétences en pratique dans des situations réelles</h2>
<p>Grâce à des exercices interactifs et des mises en pratique, vous consoliderez vos connaissances et acquerrez la confiance nécessaire pour appliquer la TCD dans des situations réelles. À la fin de ce cours, vous serez en mesure de concevoir, tester et automatiser des workflows dbt prêts pour la production, garantissant ainsi des transformations de haute qualité et bien documentées à grande échelle.</p>


Introduction to dbt

Améliorez vos compétences dbt avec ce cours pratique pour ingénieurs en données et analystes.

dbt intermédiaire

Améliorez vos compétences en matière de base de données avec ce cours pratique conçu pour les ingénieurs de données et les professionnels de l'analyse.

dbt Fondamentaux

Peut être défini dans `models/model_properties.yml`

Appelé via `{{ source(source_name, table_name) }}`

Modèles, sources, ou les deux ?

dbt intermédiaire

Exercice interactif pratique