Învață cum să asiguri calitatea datelor folosind tehnici avansate de testare în dbt. Explorează teste integrate, singulare și reutilizabile pentru a valida modele, surse și seturi de date inițiale. Înțelege cum să definești teste personalizate cu Jinja, cum să depanezi erorile și cum să îți optimizezi fluxul de validare, astfel încât să identifici inconsistențele înainte ca acestea să afecteze analizele din aval.

Introducere în testarea în dbt

Teste built-in

Definirea testelor pe un model

Găsirea datelor incorecte

Crearea testelor singulare

Pașii pentru a dezvolta un test singular

Verificarea duratei călătoriei

Verificarea interogărilor de test

Crearea testelor personalizate reutilizabile

Testare, testare, testare

Implementarea unui test reutilizabil

Trecerea de la un test singular la un test reutilizabil

Testare și documentație

Du-ți abilitățile dbt la nivelul următor implementând fluxuri de lucru scalabile, pregătite pentru producție. Vei învăța cum să folosești sursele și seturile de date inițiale din dbt pentru a îmbunătăți trasabilitatea datelor, cum să implementezi snapshot-uri pentru urmărirea modificărilor istorice și cum să automatizezi transformările cu dbt build. La finalul cursului, vei fi pregătit să gestionezi pipeline-uri de date la scară largă cu deplină încredere.

Surse dbt

Opțiuni

Doar modele dbt

Comun modelelor și surselor

Doar surse dbt

Modele, surse sau ambele?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Adăugarea unei surse

dbt seeds

Adevăruri esențiale

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP-ul e codul

SCD2 cu snapshot-uri dbt (varianta veche)

Procesul de creare a unui snapshot

Procesul de snapshot

Problemă cu snapshot-ul

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Adăugarea unui snapshot

Automatizare cu dbt build

dbt build execută acest pas

dbt build *nu* rulează aceasta

Ce nu poate face dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Ajută-l pe intern!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Pune totul laolaltă

Implementarea dbt în producție

Du-ți abilitățile dbt la nivelul următor cu acest curs practic, conceput pentru ingineri de date și profesioniști în analiză. Vei explora funcționalități avansate ale dbt, inclusiv strategii personalizate de testare, teste reutilizabile, surse, seturi de date inițiale și snapshot-uri pentru urmărirea modificărilor istorice. Vei învăța cum să automatizezi pipeline-urile dbt folosind dbt build, asigurând transformări fiabile și eficiente în mediile de producție. Prin exerciții interactive și scenarii din lumea reală, vei câștiga încrederea necesară pentru a implementa dbt în fluxuri de lucru cu date la scară largă.

<h2>Stăpânește fluxurile de lucru dbt</h2>
<p>Du-ți abilitățile dbt la nivelul următor și învață cum să implementezi fluxuri de lucru robuste și scalabile de transformare a datelor într-un mediu de producție. Acest curs este conceput pentru ingineri de date, analiști și ingineri de analytics care vor să treacă dincolo de noțiunile de bază și să dobândească experiență practică cu funcționalități avansate dbt.</p>

<h2>Asigură calitatea datelor cu testare avansată</h2>
<p>Construirea unor fluxuri de date fiabile începe cu validarea. Vei explora tehnici avansate de testare pentru a depista inconsistențele datelor, vei crea teste personalizate reutilizabile pentru a standardiza validarea în toate modelele și vei aplica teste surselor și seed-urilor pentru o guvernanță mai bună și o urmărire mai eficientă a liniei de date.</p>

<h2>Valorifică dbt Sources, Seeds și Snapshots</h2>
<p>Descoperă cum sursele dbt pot îmbunătăți documentația și lineage-ul, asigurând în același timp trasabilitatea datelor brute. Învață să folosești dbt seeds pentru a gestiona eficient seturi de date mici și statice. Apoi, stăpânește dimensiunile care se schimbă lent (SCD2) cu dbt snapshots, permițându-ți să urmărești modificările istorice din data warehouse-ul tău cu efort minim.</p>

<h2>Automatizează și optimizează cu dbt Build</h2>
<p>Eficiența este esențială în mediile de producție. Vei învăța cum să eficientizezi fluxurile de lucru cu dbt build, automatizând execuția modelelor, testele și snapshot-urile pentru a asigura transformări fiabile. Prin optimizarea pipeline-ului, vei îmbunătăți performanța, mentenabilitatea și scalabilitatea proiectelor tale dbt.</p>

<h2>Aplică-ți abilitățile în scenarii din lumea reală</h2>
<p>Prin exerciții interactive și practică aplicată, îți vei consolida cunoștințele și vei căpăta încrederea de a folosi dbt în contexte reale. La finalul cursului, vei fi pregătit să proiectezi, testezi și automatizezi fluxuri de lucru dbt pregătite pentru producție, asigurând transformări de înaltă calitate și bine documentate, la scară.</p>


Introduction to dbt

Îmbunătățește-ți abilitățile dbt cu acest curs practic pentru ingineri de date și profesioniști în analiză.

dbt intermediar

Du-ți abilitățile dbt la nivelul următor cu acest curs practic, conceput pentru ingineri de date și profesioniști în analytics.

Fundamentele dbt

Poate fi definit în `models/model_properties.yml`

Apelat prin `{{ source(source_name, table_name) }}`

Modele, surse sau ambele?

dbt intermediar

Exercițiu interactiv practic