Aprende a garantizar la calidad de los datos con técnicas avanzadas de pruebas en dbt. Explora tests integrados, singulares y reutilizables para validar modelos, sources y seeds. Comprende cómo definir tests personalizados con Jinja, resolver fallos y optimizar tu flujo de validación para detectar inconsistencias antes de que afecten al análisis aguas abajo.

Introducción a las pruebas en dbt

Pruebas integradas

Definir tests en un modelo

Encontrar datos defectuosos

Crear tests singulares

Pasos para desarrollar una prueba singular

Verificar la duración del viaje

Verificación de consultas de prueba

Crear pruebas reutilizables personalizadas

Probando, probando, probando

Implementación de una prueba reutilizable

Actualizar de test singular a test reutilizable

Pruebas y documentación

Lleva tus habilidades con dbt al siguiente nivel implementando flujos de trabajo escalables y listos para producción. Aprende a usar dbt sources y dbt seeds para mejorar el linaje de datos, implementar snapshots para seguir cambios históricos y automatizar tus transformaciones con dbt build. Al finalizar, estarás preparado para gestionar canalizaciones de datos a gran escala con confianza.

Fuentes de dbt

Opciones

Solo modelos de dbt

Común a modelos y fuentes

Solo fuentes de dbt

¿Modelos, fuentes o ambos?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Añadir una fuente

dbt seeds

Granillos de verdad

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP es el código

SCD2 con snapshots de dbt (versión antigua)

Proceso de creación del snapshot

Proceso de snapshot

Problema con el snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Añadir un snapshot

Automatización con dbt build

dbt build ejecuta este paso

dbt build NO ejecuta esto

¿Qué no puede hacer dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

¡Echando una mano a la persona en prácticas!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Juntándolo todo

Implementación de dbt en producción

Lleva tus habilidades con dbt al siguiente nivel con este curso práctico pensado para ingenieros de datos y profesionales de analítica. Explorarás funciones avanzadas de dbt, como estrategias de pruebas personalizadas, tests reutilizables, sources, seeds y snapshots para seguir cambios históricos en los datos. Aprende a automatizar canalizaciones de dbt con dbt build, garantizando transformaciones fiables y eficientes en entornos de producción. Con ejercicios interactivos y escenarios reales, ganarás la confianza necesaria para implementar dbt en flujos de trabajo de datos a gran escala.

<h2>Dominar los flujos de trabajo de DBT</h2>
<p>Lleva tus habilidades en DBT al siguiente nivel y aprende a implementar flujos de trabajo de transformación de datos robustos y escalables en un entorno de producción. Este curso está diseñado para ingenieros de datos, analistas e ingenieros analíticos que desean ir más allá de los conceptos básicos y adquirir experiencia práctica con las funciones avanzadas de dbt.</p>

<h2>Garantiza la calidad de los datos con pruebas avanzadas</h2>
<p>La creación de canales de datos fiables comienza con la validación. Explorarás técnicas de prueba avanzadas para detectar inconsistencias en los datos, crearás pruebas personalizadas reutilizables para estandarizar la validación en todos los modelos y aplicarás pruebas a fuentes y semillas para mejorar la gobernanza y el seguimiento del linaje de los datos.</p>

<h2>Aprovecha las fuentes, semillas e instantáneas de dbt.</h2>
<p>Descubre cómo las fuentes dbt pueden mejorar la documentación y el linaje, al tiempo que garantizan la trazabilidad de los datos sin procesar. Aprende a utilizar semillas dbt para gestionar de forma eficiente conjuntos de datos pequeños y estáticos. A continuación, domina el cambio lento de dimensiones (SCD2) con instantáneas dbt, lo que te permitirá realizar un seguimiento de los cambios históricos en tu almacén de datos con un esfuerzo mínimo.</p>

<h2>Automatiza y optimiza con dbt Build</h2>
<p>La eficiencia es clave en los entornos de producción. Aprenderás a optimizar los flujos de trabajo con dbt build, automatizando la ejecución de modelos, pruebas e instantáneas para garantizar transformaciones fiables. Al optimizar tu canalización, mejorarás el rendimiento, la facilidad de mantenimiento y la escalabilidad de tus proyectos dbt.</p>

<h2>Aplica tus habilidades en situaciones reales</h2>
<p>A través de ejercicios interactivos y prácticas, reforzarás tus conocimientos y ganarás confianza para aplicar la TDC en situaciones reales. Al finalizar el curso, estarás preparado para diseñar, probar y automatizar flujos de trabajo dbt listos para la producción, lo que garantizará transformaciones de alta calidad y bien documentadas a gran escala.</p>


Introduction to dbt

Mejora tus habilidades en dbt con este curso práctico para ingenieros de datos y profesionales analíticos.

dbt intermedio

Lleva tus habilidades en DBT al siguiente nivel con este curso práctico diseñado para ingenieros de datos y profesionales del análisis.

dbt Fundamentos

Podría definirse en `models/model_properties.yml`

Se invoca mediante `{{ source(source_name, table_name) }}`

¿Modelos, fuentes o ambos?

dbt intermedio

Ejercicio interactivo práctico