Entraînez-vous à construire un projet dbt depuis zéro. Mettez en pratique vos compétences pour charger différents types de données dans le projet dbt et mettre en place divers modèles de staging dbt. Ce chapitre se concentre sur les volets E et L du processus ELT.

Présentation de l’étude de cas dbt

Vérifier l’installation de dbt

Initialiser le projet dbt

Configurer le projet dbt et charger les données

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Charger le centre de distribution en tant que fichier seed dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Créer le modèle de staging des centres de distribution

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Charger et créer un modèle user via dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Encore de pratique avec les sources dbt et les modèles de staging

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Déboguer les erreurs courantes

Configurer dbt

Plongez au cœur de la modélisation de données avec dbt. Construisez le pipeline de données, des modèles de staging préliminaires jusqu’aux modèles du data mart final pour répondre aux besoins métiers clés. Au passage, apprenez à créer des tests de données pour prévenir toute dérive de la qualité.

Créer des descriptions et des tests dans dbt

Ajouter des descriptions de colonnes dbt

Ajouter des tests de colonnes dbt

Créer des data marts et des modèles de snapshot avec dbt

Rappel sur la hiérarchie des modèles dbt

Créer un modèle de mart pour les clients

Créer le modèle de mart pour les produits

Déboguer d’autres erreurs

Créer des modèles de snapshot dbt

Construire des modèles dbt

Apprenez à renforcer vos projets dbt avec Jinja en rationalisant le code, en réduisant les redondances et en améliorant la maintenabilité. Vous pratiquerez l’utilisation de variables, de boucles et de macros pour bâtir des workflows de transformation plus efficaces.

Introduction à Jinja avec dbt

Mise en jambe avec dbt compile

Se mettre en jambe avec dbt compile 2

Utiliser dbt compile pour déboguer

Définir des variables avec Jinja dans dbt

Définir des variables avec dbt Jinja 2

Utilisation avancée de Jinja avec dbt

Utiliser des boucles Jinja pour du SQL répétitif 1

Utiliser des boucles Jinja pour du SQL répété 2

Macros avec Jinja

Supprimer les espaces superflus avec Jinja

Récapitulatif : étude de cas dbt

Améliorer dbt avec Jinja

Libérez la puissance de la transformation des données avec notre cours pratique d’étude de cas sur dbt (Data Build Tool). Conçu pour les utilisateurs dbt débutants, ce cours met l’accent sur des exercices concrets et réalistes qui vous offrent de multiples occasions de créer, transformer et affiner votre maîtrise des commandes dbt essentielles. Grâce à la pratique, vous gagnerez en confiance à chaque étape du processus — de la configuration de votre environnement dbt à la création de modèles avancés répondant à des enjeux métiers critiques. En réalisant des exercices interactifs, vous développerez l’expérience nécessaire pour aborder sereinement des projets ETL de données réels.

Transformez les données brutes en modèles fiables et propres à l'aide de dbt (Data Build Tool), un cadre de transformation moderne basé sur SQL utilisé par les équipes de données du monde entier. Ce cours pratique basé sur des études de cas est conçu pour les apprenants débutants qui souhaitent acquérir des compétences concrètes grâce à des exercices pratiques guidés. Vous configurerez votre propre environnement dbt, modéliserez des données à grande échelle et rédigerez du code réutilisable à l'aide des fonctionnalités intégrées de dbt.<br><br><h2>Configurez votre projet et explorez les données</h2>Commencez par configurer un projet dbt et travaillez avec un ensemble de données e-commerce réel. Vous structurerez les données brutes, configurerez les profils et corrigerez les problèmes de syntaxe tout en acquérant une meilleure compréhension du contexte commercial derrière chaque étape de transformation.<br><br><h2>Construire et valider des modèles</h2>Apprenez à créer des modèles de mise en scène évolutifs et à appliquer des contrôles de qualité des données afin de garantir que vos ensembles de données sont précis et prêts à être analysés. Vous établirez une base solide pour répondre aux questions commerciales essentielles.<br><br><h2>Automatisez avec Jinja</h2>Terminez le cours en apprenant à utiliser Jinja pour écrire du code réutilisable et facile à maintenir. Vous utiliserez des variables, des flux de contrôle et des boucles pour respecter le principe DRY (Don't Repeat Yourself, ne vous répétez pas) afin de rationaliser votre flux de travail dbt.

Data Manipulation in SQL

Intermediate dbt

Apprenez à transformer des données brutes en modèles fiables avec dbt grâce à des exercices pratiques.

Étude de cas : créer des modèles de données e-commerce avec dbt

Découvrez comment transformer des données brutes en modèles fiables et propres grâce à dbt, à travers des exercices pratiques et concrets. 

Initialiser le projet dbt

Exercice interactif pratique