Lär dig att säkerställa datakvalitet med avancerade testtekniker i dbt. Utforska inbyggda, singulära och återanvändbara tester för att validera modeller, källor och seeds. Förstå hur du definierar anpassade tester med Jinja, felsöker fel och optimerar ditt valideringsarbetsflöde för att fånga upp inkonsekvenser innan de påverkar nedströmsanalyser.

Introduktion till testning i dbt

Inbyggda tester

Definiera tester på en modell

Hitta felaktig data

Skapa singulära tester

Steg för att utveckla ett singular-test

Verifiera resans varaktighet

Verifiera testfrågor

Skapa anpassade återanvändbara tester

Testa, testa, testa

Implementera ett återanvändbart test

Uppdatera från singulartest till återanvändbart test

Testning och dokumentation

Ta dina dbt-kunskaper till nästa nivå genom att implementera skalbara, produktionsklara arbetsflöden. Lär dig att använda dbt-källor och seeds för att förbättra dataspårbarhet, implementera snapshots för att följa historiska ändringar och automatisera dina transformationer med dbt build. När kursen är slut har du de verktyg som krävs för att hantera storskaliga datapipelines med säkerhet.

dbt-källor

Alternativ

Endast dbt-modeller

Gemensamt för modeller och källor

Endast dbt-källor

Modeller, källor eller båda?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Lägga till en källa

dbt seeds

Sant om seeds

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP är koden

SCD2 med dbt snapshots – gammalt

Process för att skapa snapshots

Snapshotprocessen

Problem med snapshot

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Lägga till en snapshot

Automatisering med dbt build

dbt build kör det här steget

dbt build kör *inte* det här

Vad kan inte dbt build göra?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Hjälp praktikanten!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Allt på en gång

Implementera dbt i produktion

Ta dina dbt-kunskaper till nästa nivå med den här praktiska kursen för datatekniker och analysproffs. Du utforskar avancerade dbt-funktioner, bland annat anpassade teststrategier, återanvändbara tester, källor, seeds och snapshots för att spåra historiska dataändringar. Lär dig att automatisera dbt-pipelines med dbt build för att säkerställa tillförlitliga och effektiva transformationer i produktionsmiljöer. Genom interaktiva övningar och verkliga scenarier får du den säkerhet som krävs för att implementera dbt i storskaliga dataarbetsflöden.

<h2>Bemästra dbt-arbetsflöden</h2>
<p>Ta dina dbt-kunskaper till nästa nivå och lär dig hur du implementerar robusta, skalbara arbetsflöden för datatransformation i en produktionsmiljö. Den här kursen är utformad för dataingenjörer, analytiker och analytics engineers som vill gå bortom grunderna och få praktisk erfarenhet av avancerad dbt-funktionalitet.</p>

<h2>Säkerställ datakvalitet med avancerad testning</h2>
<p>Att bygga tillförlitliga datapipelines börjar med validering. Du kommer att utforska avancerade testtekniker för att upptäcka datainkonsekvenser, skapa anpassade återanvändbara tester för att standardisera validering över modeller och tillämpa tester på källor och seeds för bättre styrning och spårning av datalinje.</p>

<h2>Utnyttja dbt Sources, Seeds och Snapshots</h2>
<p>Upptäck hur dbt-källor kan förbättra dokumentation och härledning samtidigt som spårbarheten för rådata säkerställs. Lär dig använda dbt seeds för att effektivt hantera små, statiska datamängder. Sedan lär du dig att bemästra slowly changing dimensions (SCD2) med dbt snapshots, så att du kan spåra historiska förändringar i ditt datalager med minimal ansträngning.</p>

<h2>Automatisera och optimera med dbt Build</h2>
<p>Effektivitet är avgörande i produktionsmiljöer. Du lär dig hur du effektiviserar arbetsflöden med dbt build genom att automatisera modellkörning, tester och snapshots för att säkerställa tillförlitliga transformationer. Genom att optimera din pipeline förbättrar du prestanda, underhållbarhet och skalbarhet i dina dbt-projekt.</p>

<h2>Tillämpa dina färdigheter i verkliga scenarier</h2>
<p>Genom interaktiva övningar och praktisk träning stärker du dina kunskaper och får självförtroendet att använda dbt i verkliga situationer. I slutet av kursen kommer du att vara rustad för att designa, testa och automatisera dbt-arbetsflöden redo för produktion, vilket säkerställer högkvalitativa och väl dokumenterade transformationer i stor skala.</p>


Introduction to dbt

Förbättra dina dbt-färdigheter med denna praktiska kurs för dataingenjörer och analytiker.

Intermediate dbt

Ta dina dbt-kunskaper till nästa nivå med denna praktiska kurs för dataingenjörer och analysproffs.

dbt-grunderna

Kan definieras i `models/model_properties.yml`

Anropas via `{{ source(source_name, table_name) }}`

Modeller, källor eller båda?

Intermediate dbt

Interaktiv övning med praktiskt arbete