Nauč se zajišťovat kvalitu dat pomocí pokročilých testovacích technik v dbt. Prozkoumej vestavěné, singulární a znovupoužitelné testy pro ověřování modelů, zdrojů a seeds. Pochop, jak definovat vlastní testy pomocí Jinja, řešit selhání testů a optimalizovat validační workflow tak, aby se nesrovnalosti odhalily dřív, než ovlivní navazující analýzy.

Úvod do testování v dbt

Vestavěné testy

Definování testů na modelu

Hledání chybných dat

Vytváření singulárních testů

Postup při vytváření singulárního testu

Ověření doby trvání jízdy

Ověřování testovacích dotazů

Vytváření vlastních znovupoužitelných testů

Testujeme, testujeme, testujeme

Implementace znovupoužitelného testu

Převod singulárního testu na znovupoužitelný

Testování a dokumentace

Posuň své dovednosti v dbt na vyšší úroveň implementací škálovatelných workflow připravených pro produkci. Naučíš se používat dbt zdroje a seeds ke zlepšení datové linie, implementovat snapshoty pro sledování historických změn a automatizovat transformace pomocí dbt build. Na konci kurzu budeš připraven/a spravovat rozsáhlé datové pipeline s plnou jistotou.

dbt sources

Možnosti

Pouze dbt modely

Společné pro modely i sources

Pouze dbt sources

Modely, sources, nebo obojí?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Přidání zdroje

dbt seeds

Zrna pravdy

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP je kód

SCD2 s dbt snapshots – starý záznam

Postup vytvoření snapshotu

Proces vytvoření snapshotu

Problém se snapshotem

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Přidání snapshotu

Automatizace pomocí dbt build

dbt build tento krok spouští

dbt build toto *nespouští*

Co dbt build neumí?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Pomoz stážistovi!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Vše dohromady

Nasazení dbt do produkce

Posuň své dovednosti v dbt na vyšší úroveň s tímto praktickým kurzem určeným pro datové inženýry a analytiky. Prozkoumáš pokročilé funkce dbt, včetně vlastních testovacích strategií, znovupoužitelných testů, zdrojů, seeds a snapshotů pro sledování historických změn dat. Naučíš se automatizovat dbt pipeline pomocí dbt build a zajistit tak spolehlivé a efektivní transformace v produkčním prostředí. Díky interaktivním cvičením a reálným scénářům získáš jistotu pro nasazení dbt ve velkých datových pipeline.

<h2>Zvládněte pracovní postupy dbt</h2>
<p>Posuňte své dovednosti v dbt na vyšší úroveň a naučte se implementovat robustní a škálovatelné workflow pro transformaci dat v produkčním prostředí. Tento kurz je určen datovým inženýrům, analytikům a analytickým inženýrům, kteří chtějí jít nad rámec základů a získat praktické zkušenosti s pokročilými funkcemi dbt.</p>

<h2>Zajistěte kvalitu dat pomocí pokročilého testování</h2>
<p>Budování spolehlivých datových pipeline začíná validací. Prozkoumáš pokročilé techniky testování, které odhalí nesrovnalosti v datech, vytvoříš vlastní znovupoužitelné testy pro standardizaci validace napříč modely a použiješ testy na zdroje a seed data pro lepší správu a sledování datové lineage.</p>

<h2>Využijte dbt Sources, Seeds a Snapshots</h2>
<p>Objevte, jak mohou zdroje dbt zlepšit dokumentaci a lineage a zároveň zajistit dohledatelnost surových dat. Naučte se používat dbt seeds pro efektivní správu malých, statických datových sad. Poté si osvojíte pomalu se měnící dimenze (SCD2) pomocí dbt snapshots, díky nimž budete moci s minimálním úsilím sledovat historické změny ve svém datovém skladu.</p>

<h2>Automatizujte a optimalizujte s dbt Build</h2>
<p>Efektivita je v produkčním prostředí klíčová. Naučíte se, jak zefektivnit pracovní postupy pomocí dbt build, automatizovat spouštění modelů, testů a snapshotů, abyste zajistili spolehlivé transformace. Optimalizací svého pipeline zlepšíte výkon, udržovatelnost a škálovatelnost svých projektů dbt.</p>

<h2>Uplatněte své dovednosti v reálných situacích</h2>
<p>Prostřednictvím interaktivních cvičení a praktického procvičování si upevníte své znalosti a získáte jistotu při používání dbt v reálných situacích. Na konci kurzu budete vybaveni k návrhu, testování a automatizaci produkčně připravených dbt workflow, čímž zajistíte vysoce kvalitní a dobře zdokumentované transformace ve velkém měřítku.</p>


Introduction to dbt

Vylepšete své dbt dovednosti s praktickým kurzem pro datové inženýry a analytiky.

Intermediate dbt

Posuňte své dovednosti v dbt na vyšší úroveň s tímto praktickým kurzem pro datové inženýry a analytické profesionály.

Základy dbt

Lze definovat v `models/model_properties.yml`

Volá se přes `{{ source(source_name, table_name) }}`

Modely, sources, nebo obojí?

Intermediate dbt

Interaktivní praktické cvičení