Naucz się dbać o jakość danych, korzystając z zaawansowanych technik testowania w dbt. Poznasz wbudowane, jednostkowe i wielokrotnego użytku testy służące do walidacji modeli, źródeł i ziaren. Dowiesz się, jak definiować własne testy przy użyciu Jinja, rozwiązywać problemy z nieudanymi testami oraz optymalizować przepływ walidacji, aby wykrywać niespójności zanim wpłyną na dalszą analizę.

Wprowadzenie do testowania w dbt

Wbudowane testy

Definiowanie testów dla modelu

Wykrywanie błędnych danych

Tworzenie testów jednostkowych

Kroki tworzenia testu jednostkowego

Weryfikacja czasu trwania przejazdu

Weryfikacja zapytań testowych

Tworzenie niestandardowych testów wielokrotnego użytku

Testowanie, testowanie, testowanie

Implementowanie testu wielokrotnego użytku

Zmiana testu jednostkowego na test wielokrotnego użytku

Testowanie i dokumentacja

Przenieś swoje umiejętności dbt na wyższy poziom, wdrażając skalowalne przepływy pracy gotowe do użycia w środowisku produkcyjnym. Dowiesz się, jak korzystać ze źródeł i ziaren dbt, aby poprawić śledzenie pochodzenia danych, jak stosować migawki do rejestrowania zmian historycznych oraz jak automatyzować transformacje za pomocą dbt build. Po ukończeniu kursu będziesz gotowy do zarządzania wielkoskalowymi potokami danych z pełną pewnością siebie.

Źródła dbt

Opcje

Tylko modele dbt

Wspólne dla modeli i źródeł

Tylko źródła dbt

Modele, źródła czy oba?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Dodawanie źródła

dbt seeds

Ziarna prawdy

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP to kod

SCD2 z dbt snapshots – stara wersja

Proces tworzenia snapshotu

Problem ze snapshotem

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Tworzenie snapshotu

Automatyzacja z dbt build

dbt build wykonuje ten krok

dbt build *nie* uruchamia tego

Czego nie potrafi dbt build?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Pomoc dla stażysty!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Składamy wszystko w całość

Wdrażanie dbt w środowisku produkcyjnym

Rozwiń swoje umiejętności dbt dzięki temu praktycznemu kursowi przeznaczonemu dla inżynierów danych i analityków. Poznasz zaawansowane funkcje dbt, w tym niestandardowe strategie testowania, testy wielokrotnego użytku, źródła, ziarna i migawki do śledzenia zmian historycznych. Dowiesz się, jak automatyzować potoki dbt za pomocą dbt build, zapewniając niezawodne i wydajne transformacje w środowiskach produkcyjnych. Dzięki interaktywnym ćwiczeniom i scenariuszom opartym na rzeczywistych przypadkach zyskasz pewność potrzebną do wdrażania dbt w dużych przepływach pracy z danymi.

<h2>Opanuj przepływy pracy dbt</h2>
<p>Rozwiń swoje umiejętności dbt i naucz się wdrażać solidne, skalowalne procesy transformacji danych w środowisku produkcyjnym. Ten kurs został zaprojektowany dla inżynierów danych, analityków i inżynierów analityki, którzy chcą wyjść poza podstawy i zdobyć praktyczne doświadczenie z zaawansowaną funkcjonalnością dbt.</p>

<h2>Zapewnij jakość danych dzięki zaawansowanym testom</h2>
<p>Tworzenie niezawodnych potoków danych zaczyna się od walidacji. Poznasz zaawansowane techniki testowania, które pozwolą wykrywać niespójności danych, tworzyć własne, wielokrotnego użytku testy, aby ujednolicić walidację w różnych modelach, oraz stosować testy do źródeł i seedów, by lepiej zarządzać danymi i śledzić ich pochodzenie.</p>

<h2>Wykorzystaj źródła, seedy i snapshoty dbt</h2>
<p>Dowiedz się, jak źródła dbt mogą usprawnić dokumentację i pochodzenie danych, jednocześnie zapewniając możliwość śledzenia surowych danych. Naucz się korzystać z dbt seeds, aby efektywnie zarządzać małymi, statycznymi zbiorami danych. Następnie opanuj slowly changing dimensions (SCD2) za pomocą dbt snapshots, dzięki czemu będziesz mógł śledzić historyczne zmiany w swoim data warehouse przy minimalnym wysiłku.</p>

<h2>Automatyzuj i optymalizuj dzięki dbt Build</h2>
<p>W środowiskach produkcyjnych kluczowa jest wydajność. Nauczysz się, jak usprawnić przepływy pracy za pomocą dbt build, automatyzując wykonywanie modeli, testy i snapshoty, aby zapewnić niezawodne transformacje. Optymalizując swój pipeline, poprawisz wydajność, łatwość utrzymania i skalowalność swoich projektów dbt.</p>

<h2>Zastosuj swoje umiejętności w rzeczywistych scenariuszach</h2>
<p>Dzięki interaktywnym ćwiczeniom i praktyce zdobywanej podczas pracy utrwalisz swoją wiedzę i zyskasz pewność, by stosować dbt w rzeczywistych sytuacjach. Pod koniec kursu będziesz przygotowany do projektowania, testowania i automatyzacji gotowych do wdrożenia przepływów pracy dbt, zapewniając wysoką jakość i dobrze udokumentowane transformacje na dużą skalę.</p>


Introduction to dbt

Rozwiń umiejętności dbt dzięki praktycznemu kursowi dla inżynierów danych i analityków.

dbt średnio zaawansowany

Rozwiń swoje umiejętności dbt dzięki praktycznemu kursowi dla inżynierów danych i specjalistów ds. analityki.

column_name	description
license_id	The numeric ID assigned to the taxi company
vehicle_make	The manufacturer of the vehicle
vehicle_model	The model of the vehicle
vehicle_year	The year the vehicle was manufactured
last_updated	Date when the record was last modified

Tworzenie snapshotu

dbt średnio zaawansowany

Interaktywne ćwiczenie praktyczne