Exercez-vous à bâtir un projet dbt à partir de zéro. Mettez en pratique vos compétences pour charger différents types de données dans le projet dbt et configurer divers modèles de mise en scène (staging). Ce chapitre se concentre sur les volets E et L du processus ELT.

Présentation de l'étude de cas dbt

Vérifier l'installation de dbt

Initialiser le projet dbt

Configurer le projet dbt et charger les données

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Charger le centre de distribution comme fichier seed dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Créer le modèle de préparation pour les centres de distribution

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Charger et créer le modèle des utilisateurs avec dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Plus de pratique avec les sources dbt et les modèles de mise en scène

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Déboguer des erreurs courantes

Configurer dbt

Plongez au cœur de la modélisation des données avec dbt. Construisez le pipeline de données à partir des modèles de mise en scène préliminaires jusqu'aux modèles finaux du magasin de données (data mart) pour répondre aux besoins d'affaires essentiels. En cours de route, apprenez à créer des tests de données pour vous prémunir contre la dérive de la qualité des données.

Créer des descriptions et des tests dans dbt

Ajouter des descriptions de colonnes dans dbt

Ajouter des tests de colonnes dbt

Créer des magasins de données et des modèles d'instantané avec dbt

Rappel sur la hiérarchie des modèles dbt

Créer un modèle de mart pour les clients

Créer le modèle de mart pour les produits

Déboguer les erreurs courantes

Déboguer d'autres erreurs

Créer des modèles de capture instantanée (snapshot) dans dbt

Construire des modèles dbt

Apprenez à bonifier vos projets dbt avec Jinja en simplifiant le code, en réduisant les redondances et en améliorant la maintenabilité. Vous pratiquerez l'utilisation de variables, de boucles et de macros pour concevoir des flux de transformation plus efficaces.

Introduction à Jinja avec dbt

Se mettre en train avec dbt compile

Se dérouiller avec dbt compile 2

Utiliser dbt compile pour déboguer

Définir des variables avec Jinja dans dbt

Définir des variables avec dbt Jinja 2

Utilisation avancée de Jinja avec dbt

Utiliser des boucles Jinja sur du SQL répétitif 1

Utiliser des boucles Jinja pour du SQL répété 2

Macros avec Jinja

Supprimer les espaces blancs avec Jinja

Récapitulatif : étude de cas dbt

Améliorer dbt avec Jinja

Libérez le potentiel de la transformation des données avec notre cours pratique d'étude de cas sur dbt (Data Build Tool). Conçu pour les personnes qui débutent avec dbt, ce cours met l'accent sur des exercices concrets qui vous offrent de multiples occasions de créer, transformer et consolider votre maîtrise des commandes essentielles de dbt. Grâce à la pratique, vous prendrez de l'assurance à chaque étape du processus — de la configuration de votre environnement dbt jusqu'à la création de modèles avancés qui résolvent des enjeux d'affaires critiques. En réalisant des exercices interactifs, vous acquerrez l'expérience nécessaire pour aborder avec confiance des projets réels de pipelines ETL de données.

Transformez des données brutes en modèles propres et fiables avec dbt (Data Build Tool), un cadre de transformation moderne basé sur SQL utilisé par des équipes de données partout dans le monde. Ce cours pratique fondé sur une étude de cas est conçu pour les apprenants en début de parcours qui souhaitent développer des compétences concrètes grâce à des exercices guidés et pratiques. Vous configurerez votre propre environnement dbt, modéliserez des données à grande échelle et écrirez du code réutilisable à l’aide des fonctionnalités intégrées de dbt.<br><br><h2>Configurez votre projet et explorez les données</h2>Commencez en configurant un projet dbt et en travaillant avec un véritable ensemble de données de commerce électronique. Vous structurerez les données brutes, configurerez les profils et corrigerez les problèmes de syntaxe tout en acquérant une compréhension du contexte d’affaires derrière chaque étape de transformation.<br><br><h2>Créer et valider des modèles</h2>Apprenez à créer des modèles de préparation évolutifs et à appliquer des contrôles de qualité des données afin de vous assurer que vos jeux de données sont exacts et prêts pour l’analyse. Vous développerez une base solide pour répondre aux questions clés de l’entreprise.<br><br><h2>Automatisez avec Jinja</h2>Terminez le cours en apprenant à utiliser Jinja pour écrire du code réutilisable et facile à maintenir. Vous utiliserez des variables, des structures de contrôle et des boucles pour suivre le principe DRY (Don't Repeat Yourself) afin de simplifier votre flux de travail dbt.

Data Manipulation in SQL

Intermediate dbt

Apprenez à transformer des données brutes en modèles fiables avec dbt grâce à des exercices pratiques.

Étude de cas : créer des modèles de données de commerce électronique avec dbt

Apprenez à transformer des données brutes en modèles propres et fiables avec dbt grâce à des exercices pratiques et concrets. 

Déboguer des erreurs courantes

Étude de cas : créer des modèles de données de commerce électronique avec dbt

Exercice interactif pratique