Aprenda a garantir a qualidade dos dados com técnicas avançadas de teste no dbt. Explore testes nativos, singulares e reutilizáveis para validar models, sources e seeds. Entenda como definir testes personalizados usando Jinja, solucionar falhas e otimizar seu fluxo de validação para capturar inconsistências antes que afetem as análises a jusante.

Introdução aos testes no dbt

Testes incorporados

Definindo testes em um modelo

Encontrando dados ruins

Criando testes singulares

Etapas para desenvolver um teste singular

Verificando a duração da corrida

Verificando consultas de teste

Criando testes reutilizáveis personalizados

Testando, testando, testando

Implementando um teste reutilizável

Atualizando de teste singular para reutilizável

Testes e documentação

Leve suas habilidades em dbt adiante implementando fluxos de trabalho escaláveis e prontos para produção. Aprenda a usar dbt sources e seeds para melhorar o lineage de dados, implementar snapshots para rastrear mudanças históricas e automatizar suas transformações com dbt build. Ao final, você estará preparado para gerenciar pipelines de dados em larga escala com confiança.

dbt sources

Opções

Apenas dbt models

Comum a models e sources

Apenas dbt sources

Models, sources ou ambos?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Adicionando uma source

dbt seeds

Grãos de verdade

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP é o código

SCD2 com snapshots do dbt (antigo)

Processo de criação de snapshot

Processo de snapshot

Problema com snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Adicionando um snapshot

Automatizando com dbt build

dbt build executa esta etapa

dbt build *não* executa isto

O que o dbt build não consegue fazer?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Ajudando o estagiário!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Juntando tudo

Implementando dbt em produção

Leve suas habilidades em dbt para o próximo nível com este curso prático, projetado para engenheiros de dados e profissionais de analytics. Você vai explorar recursos avançados do dbt, incluindo estratégias de teste personalizadas, testes reutilizáveis, sources, seeds e snapshots para acompanhar mudanças históricas nos dados. Aprenda a automatizar pipelines de dbt usando dbt build, garantindo transformações confiáveis e eficientes em ambientes de produção. Com exercícios interativos e cenários do mundo real, você vai ganhar confiança para implementar dbt em fluxos de trabalho de dados em larga escala.

<h2>Domine os fluxos de trabalho do DBT</h2>
<p>Leve suas habilidades em dbt para o próximo nível e aprenda a implementar fluxos de trabalho de transformação de dados robustos e escaláveis em um ambiente de produção. Esse curso é feito pra engenheiros de dados, analistas e engenheiros analíticos que querem ir além do básico e ganhar experiência prática com as funcionalidades avançadas do dbt.</p>

<h2>Garanta a qualidade dos dados com testes avançados</h2>
<p>A criação de pipelines de dados confiáveis começa com a validação. Você vai explorar técnicas avançadas de teste para detectar inconsistências nos dados, criar testes personalizados reutilizáveis para padronizar a validação entre modelos e aplicar testes a fontes e sementes para melhorar a governança e o rastreamento da linhagem dos dados.</p>

<h2>Aproveite as fontes, sementes e instantâneos do dbt</h2>
<p>Descubra como as fontes dbt podem melhorar a documentação e a linhagem, garantindo a rastreabilidade dos dados brutos. Aprenda a usar sementes dbt para gerenciar conjuntos de dados pequenos e estáticos de forma eficiente. Então, domine a mudança lenta de dimensões (SCD2) com instantâneos dbt, permitindo que você acompanhe as mudanças históricas em seu warehouse com o mínimo de esforço.</p>

<h2>Automatize e otimize com o dbt Build</h2>
<p>A eficiência é fundamental em ambientes de produção. Você vai aprender a otimizar fluxos de trabalho com o dbt build, automatizando a execução de modelos, testes e instantâneos para garantir transformações confiáveis. Otimizando seu pipeline, você vai melhorar o desempenho, a manutenção e a escalabilidade dos seus projetos dbt.</p>

<h2>Use suas habilidades em situações reais</h2>
<p>Com exercícios interativos e prática, você vai reforçar seus conhecimentos e ganhar confiança para usar a TDC em situações reais. Ao final do curso, você estará preparado para projetar, testar e automatizar fluxos de trabalho dbt prontos para produção, garantindo transformações de alta qualidade e bem documentadas em escala.</p>


Introduction to dbt

Aprimore suas habilidades em dbt com este curso prático para engenheiros de dados e analistas.

dbt intermediário

Leve suas habilidades em DBT para o próximo nível com este curso prático feito para engenheiros de dados e profissionais de análise.

dbt Fundamentos

Criar um arquivo `.sql` com o nome do snapshot

Processo de snapshot

dbt intermediário

exercicio interativo prático