Dowiedz się, dlaczego powstało dbt i jak wykorzystuje się je do tworzenia projektów transformacji danych.

Podstawy dbt

Uruchamianie polecenia dbt

Wprowadzenie do dbt

Wersja dbt

Uzyskiwanie pomocy

Użytkownicy dbt

Tworzenie projektu dbt

Inicjalizacja projektu dbt

Tworzenie profilu projektu

Witaj w dbt

Przejdź do praktyki i zacznij pracować z modelami danych – twórz modele SQL w dbt. Poznaj podstawowe modele SQL, definiuj zależności, aktualizuj modele i rozwiązuj typowe problemy.

Praca z pierwszym projektem

Przepływ pracy w projekcie dbt

Uruchamianie projektu

Czym jest model dbt?

Cechy modelu danych

Tworzenie modelu dbt

Aktualizowanie modeli dbt

Pliki konfiguracyjne

Aktualizowanie modelu dbt

Projekty i modele w dbt

Naucz się używać szablonów Jinja, aby upraszczać modele dbt, oraz definiować hierarchiczne zależności za pomocą funkcji `ref`, która zapewnia poprawną kolejność wykonywania modeli.

Tworzenie i generowanie dokumentacji dbt

Opcje polecenia dbt docs

Proces tworzenia dokumentacji dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Tworzenie dokumentacji dbt

Szablony Jinja

Co potrafi Jinja?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Przetwarzanie szablonu Jinja

Modele hierarchiczne w dbt

Kolejność tworzenia modeli

Hierarchiczne tworzenie modeli


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Aktualizacja hierarchii modeli

Więcej o modelach w dbt

Ten kurs zapozna cię z dbt (data build tool) – popularnym narzędziem, które zapoczątkowało nową dziedzinę zwaną inżynierią analityczną, służącą do tworzenia i utrzymywania potoków ELT (extract, transform, load). Nauczysz się budować hurtownie danych, tworzyć modele i transformacje danych oraz projektować testy do walidacji danych. Do wykonywania różnych zadań w dbt będziesz używać SQL-a i poleceń powłoki, a także poznasz sposoby generowania dokumentacji dla użytkowników hurtowni!

dbt, czyli data build tool, szturmem podbił świat danych. Ten kurs wprowadza Cię w koncepcje, terminologię i metody korzystania z dbt do wdrożenia przykładowego hurtowni danych. Zdobędziesz zrozumienie, czym jest dbt, kiedy należy go używać oraz jakie są najlepsze praktyki podczas wdrażania hurtowni danych. Będziesz pracować z rzeczywistymi zbiorami danych i wykonywać operacje ekstrakcji, ładowania i transformacji, tak jak w rolach analityka danych, inżyniera danych i inżyniera analityki.

Uczestnicy rozwiną umiejętności potrzebne do zdefiniowania hurtowni danych od podstaw, modelowania i przekształcania danych oraz tworzenia testów! Ten kurs zapewni Ci solidne podstawy, na których zbudujesz swoją dalszą drogę z dbt, niezależnie od rodzaju hurtowni danych, którą zamierzasz wdrożyć. Zdobądź pewność, kiedy i jak używać dbt, wykonując ćwiczenia z użyciem SQL i poleceń powłoki.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Ten kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Profesjonalny inżynier danych w Pythonie

Dodaj dokumentację do modeli, testów itp.

Użyj `dbt docs generate`, aby wygenerować pliki dokumentacji

Skopiuj zawartość do serwisu hostingowego

Otwórz dokumentację w przeglądarce internetowej

Proces tworzenia dokumentacji dbt

Wprowadzenie do dbt

Interaktywne ćwiczenie praktyczne