Aprenda a garantir a qualidade dos dados com técnicas avançadas de teste no dbt. Explore testes nativos, singulares e reutilizáveis para validar models, sources e seeds. Entenda como definir testes personalizados usando Jinja, solucionar falhas e otimizar seu fluxo de validação para capturar inconsistências antes que afetem as análises a jusante.

Introdução aos testes no dbt

Options

Built-in

Not built-in

Testes incorporados

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Definindo testes em um modelo

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Encontrando dados ruins

Criando testes singulares

Processo de desenvolvimento de teste singular

Etapas para desenvolver um teste singular

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Verificando a duração da corrida

Opções

Consulta de teste válida

Consulta de teste inválida

Verificando consultas de teste

Criando testes reutilizáveis personalizados

Reutilizável

Singular

Testando, testando, testando

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Implementando um teste reutilizável

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Atualizando de teste singular para reutilizável

Testes e documentação

Leve suas habilidades em dbt adiante implementando fluxos de trabalho escaláveis e prontos para produção. Aprenda a usar dbt sources e seeds para melhorar o lineage de dados, implementar snapshots para rastrear mudanças históricas e automatizar suas transformações com dbt build. Ao final, você estará preparado para gerenciar pipelines de dados em larga escala com confiança.

dbt sources

Models, sources ou ambos?

Adicionando uma source

dbt seeds

Grãos de verdade

ZIP é o código

SCD2 com snapshots do dbt (antigo)

Processo de snapshot

Problema com snapshot

Adicionando um snapshot

Automatizando com dbt build

O que o dbt build não consegue fazer?

Ajudando o estagiário!

Juntando tudo

Implementando dbt em produção

Leve suas habilidades em dbt para o próximo nível com este curso prático, projetado para engenheiros de dados e profissionais de analytics. Você vai explorar recursos avançados do dbt, incluindo estratégias de teste personalizadas, testes reutilizáveis, sources, seeds e snapshots para acompanhar mudanças históricas nos dados. Aprenda a automatizar pipelines de dbt usando dbt build, garantindo transformações confiáveis e eficientes em ambientes de produção. Com exercícios interativos e cenários do mundo real, você vai ganhar confiança para implementar dbt em fluxos de trabalho de dados em larga escala.

<h2>Domine os fluxos de trabalho do DBT</h2>
<p>Leve suas habilidades em dbt para o próximo nível e aprenda a implementar fluxos de trabalho de transformação de dados robustos e escaláveis em um ambiente de produção. Esse curso é feito pra engenheiros de dados, analistas e engenheiros analíticos que querem ir além do básico e ganhar experiência prática com as funcionalidades avançadas do dbt.</p>

<h2>Garanta a qualidade dos dados com testes avançados</h2>
<p>A criação de pipelines de dados confiáveis começa com a validação. Você vai explorar técnicas avançadas de teste para detectar inconsistências nos dados, criar testes personalizados reutilizáveis para padronizar a validação entre modelos e aplicar testes a fontes e sementes para melhorar a governança e o rastreamento da linhagem dos dados.</p>

<h2>Aproveite as fontes, sementes e instantâneos do dbt</h2>
<p>Descubra como as fontes dbt podem melhorar a documentação e a linhagem, garantindo a rastreabilidade dos dados brutos. Aprenda a usar sementes dbt para gerenciar conjuntos de dados pequenos e estáticos de forma eficiente. Então, domine a mudança lenta de dimensões (SCD2) com instantâneos dbt, permitindo que você acompanhe as mudanças históricas em seu warehouse com o mínimo de esforço.</p>

<h2>Automatize e otimize com o dbt Build</h2>
<p>A eficiência é fundamental em ambientes de produção. Você vai aprender a otimizar fluxos de trabalho com o dbt build, automatizando a execução de modelos, testes e instantâneos para garantir transformações confiáveis. Otimizando seu pipeline, você vai melhorar o desempenho, a manutenção e a escalabilidade dos seus projetos dbt.</p>

<h2>Use suas habilidades em situações reais</h2>
<p>Com exercícios interativos e prática, você vai reforçar seus conhecimentos e ganhar confiança para usar a TDC em situações reais. Ao final do curso, você estará preparado para projetar, testar e automatizar fluxos de trabalho dbt prontos para produção, garantindo transformações de alta qualidade e bem documentadas em escala.</p>


Introduction to dbt

Aprimore suas habilidades em dbt com este curso prático para engenheiros de dados e analistas.

dbt intermediário

Leve suas habilidades em DBT para o próximo nível com este curso prático feito para engenheiros de dados e profissionais de análise.

dbt Fundamentos

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Verificando consultas de teste

dbt intermediário

Exercício interativo prático