Apprenez à garantir la qualité des données avec des techniques d'essais avancées dans dbt. Explorez les essais intégrés, singuliers et réutilisables pour valider les modèles, les sources et les graines. Comprenez comment définir des essais personnalisés avec Jinja, résoudre les défaillances et optimiser votre flux de validation pour repérer les incohérences avant qu'elles n'affectent les analyses en aval.

Introduction aux tests dans dbt

Tests intégrés

Définir des tests sur un modèle

Repérer les données problématiques

Créer des tests singuliers

Étapes pour créer un test singulier

Vérifier la durée du trajet

Vérifier les requêtes de test

Créer des tests personnalisés réutilisables

Tests, tests, tests

Mettre en place un test réutilisable

Passer d'un test singulier à un test réutilisable

Essais et documentation

Faites passer vos compétences dbt au niveau supérieur en mettant en place des flux de production évolutifs et prêts pour la mise en service. Découvrez comment utiliser les sources et les graines dbt pour améliorer la lignée des données, mettre en œuvre des instantanés pour suivre les changements historiques et automatiser vos transformations avec dbt build. À la fin, vous serez en mesure de gérer avec assurance des pipelines de données à grande échelle.

Sources dbt

Options

Modèles dbt seulement

Commun aux modèles et aux sources

Sources dbt seulement

Modèles, sources ou les deux?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Ajouter une source

Graines dbt

Noyaux de vérité

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP est le code

SCD2 avec les instantanés dbt (ancien)

Processus de création d'un instantané

Processus d'instantané

Problème de snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Ajouter un instantané

Automatisation avec dbt build

dbt build exécute cette étape

dbt build n'exécute pas ceci

Qu'est-ce que dbt build ne peut pas faire?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Donner un coup de main au stagiaire !

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Mettre le tout ensemble

Mettre dbt en production

Perfectionnez vos compétences dbt avec ce cours pratique conçu pour les ingénieurs de données et les professionnels en analytique. Vous explorerez des fonctionnalités avancées de dbt, dont des stratégies d'essais personnalisées, des essais réutilisables, des sources, des graines (seeds) et des instantanés (snapshots) pour suivre l'historique des changements. Apprenez à automatiser des pipelines dbt avec dbt build afin d'assurer des transformations fiables et efficaces en environnement de production. Grâce à des exercices interactifs et à des scénarios concrets, vous développerez la confiance nécessaire pour déployer dbt dans des flux de données à grande échelle.

<h2>Maîtrisez les flux de travail dbt</h2>
<p>Passez à la vitesse supérieure avec vos compétences dbt et apprenez à mettre en œuvre des flux de transformation de données robustes et évolutifs dans un environnement de production. Ce cours est conçu pour les ingénieurs de données, les analystes et les ingénieurs en analytique qui souhaitent aller au-delà des bases et acquérir une expérience pratique des fonctionnalités avancées de dbt.</p>

<h2>Assurez la qualité des données grâce à des tests avancés</h2>
<p>La création de pipelines de données fiables commence par la validation. Vous explorerez des techniques de test avancées pour détecter les incohérences de données, créer des tests personnalisés réutilisables afin de standardiser la validation entre les modèles, et appliquer des tests aux sources et aux seeds pour une meilleure gouvernance et un meilleur suivi de la lignée des données.</p>

<h2>Tirez parti des sources, des seeds et des snapshots dbt</h2>
<p>Découvrez comment les sources dbt peuvent améliorer la documentation et la lignée des données tout en assurant la traçabilité des données brutes. Apprenez à utiliser les seeds dbt pour gérer efficacement de petits ensembles de données statiques. Puis, maîtrisez les dimensions à évolution lente (SCD2) avec les snapshots dbt, ce qui vous permet de suivre les changements historiques dans votre entrepôt de données avec un minimum d’efforts.</p>

<h2>Automatisez et optimisez avec dbt Build</h2>
<p>L’efficacité est essentielle dans les environnements de production. Vous apprendrez à rationaliser les flux de travail avec dbt build, en automatisant l’exécution des modèles, les tests et les instantanés afin d’assurer des transformations fiables. En optimisant votre pipeline, vous améliorerez les performances, la maintenabilité et l’évolutivité de vos projets dbt.</p>

<h2>Appliquez vos compétences dans des scénarios réels</h2>
<p>Grâce à des exercices interactifs et à de la pratique concrète, vous consoliderez vos connaissances et gagnerez la confiance nécessaire pour appliquer dbt dans des contextes réels. À la fin du cours, vous serez en mesure de concevoir, de tester et d’automatiser des flux de travail dbt prêts pour la production, en assurant des transformations de haute qualité et bien documentées à grande échelle.</p>


Introduction to dbt

Améliorez vos compétences dbt avec ce cours pratique pour ingénieurs de données et analystes.

dbt intermédiaire

Passez au niveau supérieur avec dbt grâce à ce cours pratique conçu pour les ingénieurs de données et les professionnels de l’analytique.

Fondamentaux de dbt

Créer un fichier `.sql` nommé pour l'instantané

Processus d'instantané

dbt intermédiaire

Exercice interactif pratique