Découvrez pourquoi dbt existe et comment il est utilisé pour créer des projets de transformation de données.

Les bases de dbt

Exécuter la commande dbt

Présentation de dbt

Version de dbt

Obtenir de l’aide

Utilisateurs de dbt

Créer un projet dbt

Initialiser un projet dbt

Créer un profil de projet

Bienvenue dans dbt

Plongez dans le cœur de dbt en travaillant avec des modèles de données et en créant des modèles basés sur SQL dans dbt. Apprenez les modèles SQL de base, définissez des dépendances, mettez à jour et dépannez divers problèmes de modèles.

Prendre en main un premier projet

Flux de travail d’un projet dbt

Exécuter un projet

Qu’est-ce qu’un modèle dbt ?

Caractéristiques d’un modèle de données

Créer un modèle dbt

Mettre à jour des modèles dbt

Fichiers de configuration

Mettre à jour un modèle dbt

Projets et modèles dbt

Apprenez à utiliser les modèles Jinja pour simplifier les modèles dbt et à définir des dépendances hiérarchiques avec la fonction `ref` afin de garantir la bonne exécution des modèles.

Créer et générer la documentation dbt

Options de commande dbt docs

Processus de documentation dbt

Flux de documentation dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Créer la documentation dbt

Modèles Jinja

Que peut faire Jinja ?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Traiter un template Jinja

Modèles hiérarchiques dans dbt

Ordre de création des modèles

Création de modèles hiérarchiques


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Mise à jour des hiérarchies de modèles

Aller plus loin avec les modèles dbt

Ce cours vous fait découvrir dbt (data build tool), un outil populaire qui a donné naissance à l’analytics engineering pour créer et maintenir des pipelines d’extraction, transformation et chargement (ELT). Vous apprendrez à construire des entrepôts de données, à réaliser du modélisation et des transformations de données, et à concevoir des tests pour effectuer la validation des données. Vous utiliserez SQL et des commandes shell pour accomplir diverses tâches avec dbt, et vous verrez comment générer de la documentation pour les utilisateurs de votre entrepôt !

Le dbt, ou outil de construction de données, a révolutionné le monde des données. Ce cours vous présente les concepts, la terminologie et les méthodes d'utilisation de dbt pour mettre en œuvre un exemple d'entrepôt de données. Vous acquerrez une compréhension approfondie de ce qu'est le dbt, des situations dans lesquelles il convient de l'utiliser et des meilleures pratiques à adopter lors de la mise en œuvre d'un entrepôt de données. Vous travaillerez avec des ensembles de données réels et effectuerez des opérations d'extraction, de chargement et de transformation telles qu'elles sont mises en œuvre dans les rôles d'analyste de données, d'ingénieur de données et d'ingénieur en analyse.

Les apprenants développeront les compétences nécessaires pour définir un entrepôt de données à partir de zéro, modéliser et transformer des données, et créer des tests. Ce cours vous fournira des bases solides sur lesquelles vous appuyer dans votre parcours DBT, quel que soit le type d'entrepôt de données que vous envisagez de mettre en œuvre. Renforcez votre confiance dans l'utilisation de dbt en effectuant des exercices à l'aide de SQL et de commandes shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Ce cours présente dbt pour la modélisation, les transformations, les tests et la documentation des données.

Introduction à dbt

Ce cours présente dbt pour la modélisation de données, la transformation, le test et la création de documentation.

dbt Fondamentaux

Ingénieur professionnel en données en Python

Ajouter la documentation aux modèles, tests, etc.

Utiliser `dbt run` pour générer les modèles

Utiliser `dbt docs generate` pour générer les fichiers de documentation

Copier le contenu vers le service d’hébergement

Accéder à la documentation via un navigateur web

Flux de documentation dbt

Introduction à dbt

Exercice interactif pratique