Practica construyendo un proyecto de dbt desde cero. Aplica tus habilidades para cargar distintos tipos de datos en el proyecto de dbt y configurar varios modelos de staging en dbt. Este capítulo se centra en las partes E y L del proceso ELT.

Presentación del caso práctico de dbt

Comprobar la instalación de dbt

Inicializa el proyecto de dbt

Configurar el proyecto de dbt y cargar datos

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Cargar el centro de distribución como un archivo seed de dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Crea el modelo de staging de centros de distribución

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Cargar y crear el modelo de usuarios con dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Más práctica con fuentes y modelos de staging en dbt

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Depurar errores comunes

Configurar dbt

Profundiza en el modelado de datos con dbt. Construye la canalización de datos desde los modelos de staging preliminares hasta los modelos finales del data mart para responder a necesidades críticas del negocio. Por el camino, practicarás la creación de pruebas de datos para poner barandillas contra la deriva de la calidad de los datos.

Crear descripciones y tests en dbt

Añade descripciones de columnas en dbt

Añade pruebas de columnas en dbt

Crear data marts y modelos snapshot en dbt

Repaso de la jerarquía de modelos en dbt

Crea el modelo de mart para customers

Crea el modelo de mart para products

Depurar más errores

Crear modelos snapshot en dbt

Crear modelos de dbt

Aprende a mejorar tus proyectos de dbt con Jinja optimizando el código, reduciendo la redundancia y mejorando el mantenimiento. Practicarás el uso de variables, bucles y macros para crear flujos de transformación más eficientes.

Introducción a Jinja con dbt

Calentando motores con dbt compile

Calentando motores con dbt compile 2

Usar dbt compile para depurar

Configurar variables con Jinja en dbt

Definir variables con dbt Jinja 2

Uso avanzado de Jinja con dbt

Usar bucles de Jinja para SQL repetitivo 1

Usar bucles de Jinja en SQL repetitivo 2

Macros con Jinja

Recortar espacios en blanco con Jinja

Recap: estudio de caso de dbt

Mejorar dbt con Jinja

Explora el poder de la transformación de datos con nuestro curso práctico de estudio de caso sobre dbt (Data Build Tool). Diseñado para quienes están empezando con dbt, este curso se centra en ejercicios prácticos y realistas que te darán múltiples oportunidades para crear, transformar y afianzar tu dominio de los comandos esenciales de dbt. Mediante la práctica guiada, ganarás confianza en cada paso del proceso: desde la configuración de tu entorno de dbt hasta la creación de modelos avanzados que resuelven necesidades clave del negocio. A través de ejercicios interactivos, adquirirás la experiencia necesaria para abordar con seguridad proyectos reales de canalizaciones ETL de datos.

Transforma datos sin procesar en modelos limpios y fiables utilizando dbt (Data Build Tool), un moderno marco de transformación basado en SQL utilizado por equipos de datos de todo el mundo. Este curso práctico basado en casos prácticos está diseñado para estudiantes principiantes que desean desarrollar habilidades útiles en el mundo real a través de ejercicios prácticos guiados. Configurarás tu propio entorno dbt, modelarás datos a escala y escribirás código reutilizable utilizando las funciones integradas de dbt.<br><br><h2>Configura tu proyecto y explora los datos</h2>Empieza configurando un proyecto dbt y trabajando con un conjunto de datos reales de comercio electrónico. Estructurarás datos sin procesar, configurarás perfiles y depurarás problemas de sintaxis, al tiempo que obtienes información sobre el contexto empresarial que hay detrás de cada paso de la transformación.<br><br><h2>Crear y validar modelos</h2>Aprende a crear modelos de ensayo escalables y a aplicar controles de calidad de los datos para garantizar que tus conjuntos de datos sean precisos y estén listos para su análisis. Crearás una base sólida para responder a preguntas clave sobre el negocio.<br><br><h2>Automatiza con Jinja</h2>Termina el curso aprendiendo a utilizar Jinja para escribir código reutilizable y fácil de mantener. Utilizarás variables, control de flujo y bucles para seguir el principio DRY (Don't Repeat Yourself, no te repitas) y optimizar tu flujo de trabajo en dbt.

Data Manipulation in SQL

Intermediate dbt

Aprende a transformar datos en modelos fiables con dbt mediante ejercicios prácticos y reales.

Estudio de caso: creación de modelos de datos de comercio electrónico con dbt

Aprende a transformar datos sin procesar en modelos limpios y fiables con dbt a través de ejercicios prácticos y reales. 

Comprobar la instalación de dbt

Estudio de caso: creación de modelos de datos de comercio electrónico con dbt

Ejercicio interactivo práctico