Dowiedz się, dlaczego powstało dbt i jak wykorzystuje się je do tworzenia projektów transformacji danych.

Podstawy dbt

Uruchamianie polecenia dbt

Wprowadzenie do dbt

Wersja dbt

Uzyskiwanie pomocy

Użytkownicy dbt

Tworzenie projektu dbt

Inicjalizacja projektu dbt

Tworzenie profilu projektu

Witaj w dbt

Przejdź do praktyki i zacznij pracować z modelami danych – twórz modele SQL w dbt. Poznaj podstawowe modele SQL, definiuj zależności, aktualizuj modele i rozwiązuj typowe problemy.

Praca z pierwszym projektem

Kroki przepływu pracy w dbt

Przepływ pracy w projekcie dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Uruchamianie projektu

Czym jest model dbt?

Opcje

Prawda o modelu danych

Fałsz o modelu danych

Cechy modelu danych


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Tworzenie modelu dbt

Aktualizowanie modeli dbt

Projekt

Tylko model

Pliki konfiguracyjne


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Aktualizowanie modelu dbt

Projekty i modele w dbt

Naucz się używać szablonów Jinja, aby upraszczać modele dbt, oraz definiować hierarchiczne zależności za pomocą funkcji `ref`, która zapewnia poprawną kolejność wykonywania modeli.

Tworzenie i generowanie dokumentacji dbt

Opcje polecenia dbt docs

Proces tworzenia dokumentacji dbt

Tworzenie dokumentacji dbt

Szablony Jinja

Co potrafi Jinja?

Przetwarzanie szablonu Jinja

Modele hierarchiczne w dbt

Hierarchiczne tworzenie modeli

Aktualizacja hierarchii modeli

Więcej o modelach w dbt

Ten kurs zapozna cię z dbt (data build tool) – popularnym narzędziem, które zapoczątkowało nową dziedzinę zwaną inżynierią analityczną, służącą do tworzenia i utrzymywania potoków ELT (extract, transform, load). Nauczysz się budować hurtownie danych, tworzyć modele i transformacje danych oraz projektować testy do walidacji danych. Do wykonywania różnych zadań w dbt będziesz używać SQL-a i poleceń powłoki, a także poznasz sposoby generowania dokumentacji dla użytkowników hurtowni!

dbt, czyli data build tool, szturmem podbił świat danych. Ten kurs wprowadza Cię w koncepcje, terminologię i metody korzystania z dbt do wdrożenia przykładowego hurtowni danych. Zdobędziesz zrozumienie, czym jest dbt, kiedy należy go używać oraz jakie są najlepsze praktyki podczas wdrażania hurtowni danych. Będziesz pracować z rzeczywistymi zbiorami danych i wykonywać operacje ekstrakcji, ładowania i transformacji, tak jak w rolach analityka danych, inżyniera danych i inżyniera analityki.

Uczestnicy rozwiną umiejętności potrzebne do zdefiniowania hurtowni danych od podstaw, modelowania i przekształcania danych oraz tworzenia testów! Ten kurs zapewni Ci solidne podstawy, na których zbudujesz swoją dalszą drogę z dbt, niezależnie od rodzaju hurtowni danych, którą zamierzasz wdrożyć. Zdobądź pewność, kiedy i jak używać dbt, wykonując ćwiczenia z użyciem SQL i poleceń powłoki.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Ten kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Profesjonalny inżynier danych w Pythonie

Utwórz miejsca docelowe danych w pliku `profiles.yml`

Przepływ pracy w projekcie dbt

Wprowadzenie do dbt

Interaktywne ćwiczenie praktyczne