Conoce las razones de la existencia de dbt y cómo se utiliza para crear proyectos de transformación de datos.

Fundamentos de la dbt

Ejecutar el comando dbt

Presentación de dbt

Versión de dbt

Conseguir ayuda

Usuarios de dbt

Crear un proyecto dbt

Inicializar un proyecto dbt

Crear un perfil de proyecto

Bienvenido a dbt

Adéntrate en la verdadera esencia de dbt trabajando con modelos de datos y creando modelos basados en SQL dentro de dbt. Conoce los modelos básicos de SQL, define las dependencias, actualízalos y soluciona diversos problemas con los modelos. 

Trabajar con un primer proyecto

flujo de trabajo del proyecto dbt

Ejecutar un proyecto

¿Qué es un modelo dbt?

Características de un modelo de datos

Crear un modelo dbt

Actualizar los modelos dbt

Archivos de configuración

Actualizar un modelo dbt

proyectos y modelos dbt

Aprende a utilizar plantillas Jinja para simplificar los modelos dbt y a definir dependencias jerárquicas con la función `ref` para garantizar la correcta ejecución del modelo.

Crear y generar documentación dbt

dbt docs Opciones de comando

dbt Proceso de documentación

flujo de documentación dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Crear documentación dbt

Plantillas Jinja

¿Qué puede hacer Jinja?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Procesar una plantilla Jinja

Modelos jerárquicos en dbt

Orden de creación del modelo

Creación de modelos jerárquicos


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Actualizar jerarquías de modelos

Más sobre los modelos dbt

Este curso te introduce en dbt (data build tool), una popular herramienta que ha dado origen a la ingeniería analítica para la creación y mantenimiento de pipelines de extracción, transformación y carga (ELT). Aprenderás a construir almacenes de datos, a realizar modelado y transformaciones de datos, y a diseñar pruebas para realizar la validación de datos. Utilizarás SQL y comandos shell para realizar diversas tareas con dbt, ¡además de descubrir cómo generar documentación para los usuarios de tu almacén!

dbt, o la herramienta de construcción de datos, ha arrasado en el mundo de los datos. Este curso te introduce en los conceptos, la terminología y los métodos de uso de dbt para implementar un almacén de datos de ejemplo. Comprenderás qué es el dbt, cuándo debe utilizarse y cuáles son las mejores prácticas a la hora de implantar un almacén de datos. Trabajarás con conjuntos de datos reales y realizarás operaciones de extracción, carga y transformación tal y como se implementan en funciones de análisis de datos, ingeniería de datos e ingeniería analítica.

Los alumnos desarrollarán las habilidades necesarias para definir un almacén de datos desde cero, modelar y transformar datos, y crear pruebas. Este curso te proporcionará una base sólida sobre la que iniciar tu formación sobre dbt, independientemente del tipo de almacén de datos que pretendas implantar. Gana confianza sobre cómo y cuándo utilizar dbt trabajando a través de ejercicios utilizando comandos SQL y shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Este curso presenta dbt para modelado de datos, transformaciones, pruebas y creación de documentación.

Introducción al dbt

"Este curso introduce dbt para modelado de datos, transformaciones, pruebas y creación de documentación."

dbt Fundamentos

Ingeniero de Datos Profesional en Python

Añade documentación a los modelos, pruebas, etc.

Utiliza `dbt docs generate` para generar los archivos de documentación

Copiar contenido al servicio de alojamiento

Accede a la documentación a través del navegador web

flujo de documentación dbt

Introducción al dbt

Ejercicio interactivo práctico