Naucz się dbać o jakość danych, korzystając z zaawansowanych technik testowania w dbt. Poznasz wbudowane, jednostkowe i wielokrotnego użytku testy służące do walidacji modeli, źródeł i ziaren. Dowiesz się, jak definiować własne testy przy użyciu Jinja, rozwiązywać problemy z nieudanymi testami oraz optymalizować przepływ walidacji, aby wykrywać niespójności zanim wpłyną na dalszą analizę.

Wprowadzenie do testowania w dbt

Opcje

Wbudowane

Niewbudowane

Wbudowane testy

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Definiowanie testów dla modelu

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Wykrywanie błędnych danych

Tworzenie testów jednostkowych

Proces tworzenia testu jednostkowego

Kroki tworzenia testu jednostkowego

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Weryfikacja czasu trwania przejazdu

Poprawne zapytanie testowe

Niepoprawne zapytanie testowe

Weryfikacja zapytań testowych

Tworzenie niestandardowych testów wielokrotnego użytku

Wielokrotnego użytku

Pojedynczy

Testowanie, testowanie, testowanie

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Implementowanie testu wielokrotnego użytku

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Zmiana testu jednostkowego na test wielokrotnego użytku

Testowanie i dokumentacja

Przenieś swoje umiejętności dbt na wyższy poziom, wdrażając skalowalne przepływy pracy gotowe do użycia w środowisku produkcyjnym. Dowiesz się, jak korzystać ze źródeł i ziaren dbt, aby poprawić śledzenie pochodzenia danych, jak stosować migawki do rejestrowania zmian historycznych oraz jak automatyzować transformacje za pomocą dbt build. Po ukończeniu kursu będziesz gotowy do zarządzania wielkoskalowymi potokami danych z pełną pewnością siebie.

Źródła dbt

Modele, źródła czy oba?

Dodawanie źródła

dbt seeds

Ziarna prawdy

ZIP to kod

SCD2 z dbt snapshots – stara wersja

Proces tworzenia snapshotu

Problem ze snapshotem

Tworzenie snapshotu

Automatyzacja z dbt build

Czego nie potrafi dbt build?

Pomoc dla stażysty!

Składamy wszystko w całość

Wdrażanie dbt w środowisku produkcyjnym

Rozwiń swoje umiejętności dbt dzięki temu praktycznemu kursowi przeznaczonemu dla inżynierów danych i analityków. Poznasz zaawansowane funkcje dbt, w tym niestandardowe strategie testowania, testy wielokrotnego użytku, źródła, ziarna i migawki do śledzenia zmian historycznych. Dowiesz się, jak automatyzować potoki dbt za pomocą dbt build, zapewniając niezawodne i wydajne transformacje w środowiskach produkcyjnych. Dzięki interaktywnym ćwiczeniom i scenariuszom opartym na rzeczywistych przypadkach zyskasz pewność potrzebną do wdrażania dbt w dużych przepływach pracy z danymi.

<h2>Opanuj przepływy pracy dbt</h2>
<p>Rozwiń swoje umiejętności dbt i naucz się wdrażać solidne, skalowalne procesy transformacji danych w środowisku produkcyjnym. Ten kurs został zaprojektowany dla inżynierów danych, analityków i inżynierów analityki, którzy chcą wyjść poza podstawy i zdobyć praktyczne doświadczenie z zaawansowaną funkcjonalnością dbt.</p>

<h2>Zapewnij jakość danych dzięki zaawansowanym testom</h2>
<p>Tworzenie niezawodnych potoków danych zaczyna się od walidacji. Poznasz zaawansowane techniki testowania, które pozwolą wykrywać niespójności danych, tworzyć własne, wielokrotnego użytku testy, aby ujednolicić walidację w różnych modelach, oraz stosować testy do źródeł i seedów, by lepiej zarządzać danymi i śledzić ich pochodzenie.</p>

<h2>Wykorzystaj źródła, seedy i snapshoty dbt</h2>
<p>Dowiedz się, jak źródła dbt mogą usprawnić dokumentację i pochodzenie danych, jednocześnie zapewniając możliwość śledzenia surowych danych. Naucz się korzystać z dbt seeds, aby efektywnie zarządzać małymi, statycznymi zbiorami danych. Następnie opanuj slowly changing dimensions (SCD2) za pomocą dbt snapshots, dzięki czemu będziesz mógł śledzić historyczne zmiany w swoim data warehouse przy minimalnym wysiłku.</p>

<h2>Automatyzuj i optymalizuj dzięki dbt Build</h2>
<p>W środowiskach produkcyjnych kluczowa jest wydajność. Nauczysz się, jak usprawnić przepływy pracy za pomocą dbt build, automatyzując wykonywanie modeli, testy i snapshoty, aby zapewnić niezawodne transformacje. Optymalizując swój pipeline, poprawisz wydajność, łatwość utrzymania i skalowalność swoich projektów dbt.</p>

<h2>Zastosuj swoje umiejętności w rzeczywistych scenariuszach</h2>
<p>Dzięki interaktywnym ćwiczeniom i praktyce zdobywanej podczas pracy utrwalisz swoją wiedzę i zyskasz pewność, by stosować dbt w rzeczywistych sytuacjach. Pod koniec kursu będziesz przygotowany do projektowania, testowania i automatyzacji gotowych do wdrożenia przepływów pracy dbt, zapewniając wysoką jakość i dobrze udokumentowane transformacje na dużą skalę.</p>


Introduction to dbt

Rozwiń umiejętności dbt dzięki praktycznemu kursowi dla inżynierów danych i analityków.

dbt średnio zaawansowany

Rozwiń swoje umiejętności dbt dzięki praktycznemu kursowi dla inżynierów danych i specjalistów ds. analityki.

Podstawy dbt

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Weryfikacja zapytań testowych

dbt średnio zaawansowany

Interaktywne ćwiczenie praktyczne