Scopri come garantire la qualità dei dati con tecniche di testing avanzate in dbt. Esplora test integrati, singolari e riutilizzabili per convalidare modelli, fonti e seed. Capisci come definire test personalizzati con Jinja, risolvere i fallimenti e ottimizzare il tuo workflow di validazione per intercettare le incongruenze prima che impattino le analisi a valle.

Introduzione al testing in dbt

Test integrati

Definire test su un modello

Individuare dati errati

Creare test singoli

Passaggi per sviluppare un test singolare

Verifica della durata della corsa

Verificare le query di test

Creare test personalizzati riutilizzabili

Testing, testing, testing

Implementare un test riutilizzabile

Aggiornare da test singolare a test riutilizzabile

Test e documentazione

Porta le tue competenze su dbt al livello successivo implementando workflow scalabili e pronti per la produzione. Impara a usare le fonti e i seed di dbt per migliorare la lineage dei dati, implementa snapshot per tracciare le modifiche storiche e automatizza le trasformazioni con dbt build. Al termine, sarai in grado di gestire con sicurezza pipeline di dati su larga scala.

sorgenti dbt

Opzioni

Solo modelli dbt

Comuni a modelli e sorgenti

Solo sorgenti dbt

Modelli, sorgenti o entrambi?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Aggiungere una source

dbt seeds

Chicchi di verità

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP è il codice

SCD2 con gli snapshot di dbt (vecchio)

Processo di creazione dello snapshot

Processo di snapshot

Problema con lo snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Aggiungere uno snapshot

Automatizzare con dbt build

dbt build esegue questo step

dbt build *non* esegue questo

Cosa non può fare dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

A dare una mano al tirocinante!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Mettere tutto insieme

Implementare dbt in produzione

Porta le tue competenze su dbt al livello successivo con questo corso pratico pensato per data engineer e professionisti dell’analisi. Esplorerai funzionalità avanzate di dbt, incluse strategie di test personalizzate, test riutilizzabili, fonti, seed e snapshot per tracciare le modifiche storiche ai dati. Impara ad automatizzare le pipeline dbt usando dbt build, assicurando trasformazioni affidabili ed efficienti in ambienti di produzione. Con esercizi interattivi e scenari reali, acquisirai la sicurezza per applicare dbt in workflow di dati su larga scala.

<h2>Padroneggia i flussi di lavoro DBT</h2>
<p>Porta le tue competenze in materia di dbt al livello successivo e scopri come implementare flussi di lavoro di trasformazione dei dati robusti e scalabili in un ambiente di produzione. Questo corso è pensato per ingegneri dei dati, analisti e ingegneri analitici che vogliono andare oltre le nozioni di base e fare esperienza pratica con le funzionalità avanzate di dbt.</p>

<h2>Garantire la qualità dei dati con test avanzati</h2>
<p>Per creare pipeline di dati affidabili, bisogna prima di tutto fare la convalida. Scoprirai tecniche di test avanzate per individuare incongruenze nei dati, creare test personalizzati riutilizzabili per standardizzare la convalida tra i modelli e applicare test a fonti e seed per una migliore governance e tracciabilità della provenienza dei dati.</p>

<h2>Sfrutta le fonti, i seed e gli snapshot di dbt</h2>
<p>Scopri come le fonti dbt possono migliorare la documentazione e la tracciabilità, assicurando al contempo la tracciabilità dei dati grezzi. Impara a usare i seed dbt per gestire in modo efficiente piccoli set di dati statici. Quindi, impara a gestire lentamente le modifiche delle dimensioni (SCD2) con le istantanee dbt, che ti permettono di tenere traccia delle modifiche storiche nel tuo data warehouse con il minimo sforzo.</p>

<h2>Automatizza e ottimizza con dbt Build</h2>
<p>L'efficienza è fondamentale negli ambienti di produzione. Imparerai come semplificare i flussi di lavoro con dbt build, automatizzando l'esecuzione dei modelli, i test e gli snapshot per garantire trasformazioni affidabili. Ottimizzando la tua pipeline, migliorerai le prestazioni, la manutenibilità e la scalabilità dei tuoi progetti dbt.</p>

<h2>Metti alla prova le tue abilità in situazioni reali</h2>
<p>Grazie a esercizi interattivi e attività pratiche, potrai rafforzare le tue conoscenze e acquisire la sicurezza necessaria per applicare la dbt in contesti reali. Alla fine del corso, avrai tutte le carte in regola per progettare, testare e automatizzare flussi di lavoro dbt pronti per la produzione, garantendo trasformazioni di alta qualità e ben documentate su larga scala.</p>


Introduction to dbt

Migliora le tue competenze dbt con questo corso pratico per ingegneri dati e professionisti analitici.

dbt intermedio

Porta le tue competenze in materia di DBT a un livello superiore con questo corso pratico pensato per ingegneri dei dati e professionisti dell'analisi.

Fondamenti del dbt

Potrebbe essere definito in `models/model_properties.yml`

Richiamato tramite `{{ source(source_name, table_name) }}`

Modelli, sorgenti o entrambi?

dbt intermedio

esercizio interattivo pratico