Découvrez pourquoi dbt existe et comment il sert à créer des projets de transformation des données.

Les bases de dbt

Exécuter la commande dbt

Présentation de dbt

Version de dbt

Obtenir de l'aide

Utilisateurs de dbt

Créer un projet dbt

Initialiser un projet dbt

Créer un profil de projet

Bienvenue dans dbt

Plongez dans le cœur de dbt en travaillant avec des modèles de données et en créant des modèles basés sur SQL dans dbt. Apprenez les modèles SQL de base, définissez des dépendances, mettez à jour et dépannez divers problèmes de modèles.

Travailler avec un premier projet

Étapes d'un flux de travail dbt

Flux de travail d'un projet dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Exécuter un projet

Qu'est-ce qu'un modèle dbt ?

Options

Vrai pour un modèle de données

Faux pour un modèle de données

Caractéristiques d'un modèle de données


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Créer un modèle dbt

Mettre à jour des modèles dbt

Projet

Modèle seulement

Fichiers de configuration


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Mise à jour d'un modèle dbt

Projets et modèles dbt

Apprenez à utiliser les gabarits Jinja pour simplifier les modèles dbt et à définir des dépendances hiérarchiques avec la fonction `ref` afin d'assurer l'exécution correcte des modèles.

Créer et générer la documentation dbt

Options de la commande dbt docs

Flux de la documentation dbt

Générer la documentation dbt

Gabarits Jinja

Que peut faire Jinja ?

Traiter un modèle Jinja

Modèles hiérarchiques dans dbt

Création de modèles hiérarchiques

Mise à jour des hiérarchies de modèles

Aller plus loin avec les modèles dbt

Ce cours vous fait découvrir dbt (data build tool), un outil populaire qui a donné naissance à l'ingénierie analytique pour la création et l'entretien de pipelines d'extraction, de transformation et de chargement (ELT). Vous apprendrez à bâtir des entrepôts de données, à effectuer la modélisation et les transformations des données, ainsi qu'à concevoir des tests pour valider les données. Vous utiliserez SQL et des commandes du shell pour réaliser diverses tâches avec dbt et verrez aussi comment générer de la documentation pour les utilisateurs et utilisatrices de votre entrepôt!

dbt, ou l’outil de construction de données, a pris d’assaut le monde des données. Ce cours vous présente les concepts, la terminologie et les méthodes d’utilisation de dbt pour mettre en œuvre un entrepôt de données d’exemple. Vous comprendrez ce qu’est dbt, quand il devrait être utilisé et les meilleures pratiques à appliquer lors de la mise en œuvre d’un entreposage de données. Vous travaillerez avec de véritables ensembles de données et effectuerez des opérations d’extraction, de chargement et de transformation telles qu’elles sont mises en œuvre dans les rôles d’analyste de données, d’ingénieur de données et d’ingénieur en analytique.

Les apprenants développeront les compétences nécessaires pour définir un entrepôt de données à partir de zéro, modéliser et transformer des données, et créer des tests ! Ce cours vous fournira une base solide sur laquelle vous appuyer dans votre parcours dbt, peu importe le type d’entrepôt de données que vous souhaitez mettre en place. Gagnez en confiance quant à la façon et au moment d’utiliser dbt en réalisant des exercices avec SQL et des commandes shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Ce cours présente dbt pour la modélisation, les transformations, les tests et la documentation des données.

Introduction à dbt

Ce cours présente dbt pour la modélisation des données, les transformations, les tests et la création de documentation.

Fondamentaux de dbt

Ingénieur de données professionnel en Python

Créer les destinations de données dans le fichier `profiles.yml`

Vérifier le contenu dans l'entrepôt de données

Flux de travail d'un projet dbt

Introduction à dbt

Exercice interactif pratique